簡要介紹

使用者批量上傳需要識別的照片,上傳成功後,系統會啟動Hangfire後臺Job開始呼叫PaddleOCR服務返回結果,這個過程有點類似微服務的架構模型。

PaddleOCR

PaddleOCR是百度AI團隊開源的一個專案，應該是目前所有免費開源OCR專案中識別效果最好的,具體可以通過PaddleOCR瞭解,如果你沒有Python的開發經驗，可能在環境部署上會遇到一些問題，但幾乎都能找到解決方案。

Demo http://razor.i247365.net/invoices/index

使用者批量上傳要識別的檔案,由於我的虛擬機器效能非常差，所以才能先上傳系統後臺自動識別
系統識別完成後會自動通知使用者並修改狀態,使用者預覽識別的結果

執行環境

.net 5.0>
Python 3.7>
ASP.NET Core Razor Page Application 5.0 原始碼分支(features\invoice_ocr)RazorPageCleanArchitecture\features\invoice_ocr
PaddleOCR Web API （CentOS 阿里雲主機) PaddlePaddle/PaddleOCR
Hangfire Dashboard HangfireIO/Hangfire

技術棧

ASP.NET Core
Jquery/Javascript
EasyUI
Python

安裝PaddleOCR環境

經測試PaddleOCR可在glibc 2.23上執行，您也可以測試其他glibc版本或安裝glic 2.23 PaddleOCR 工作環境 - PaddlePaddle 2.0.0 - python3.7 - glibc 2.23 - cuDNN 7.6+ (GPU)

建議使用我們提供的docker執行PaddleOCR，有關docker、nvidia-docker使用請參考連結。

如您希望使用 mac 或 windows直接執行預測程式碼，可以從第2步開始執行。

1. （建議）準備docker環境。第一次使用這個映象，會自動下載該映象，請耐心等待。 ```

切換到工作目錄下

cd /home/Projects

首次執行需建立一個docker容器，再次執行時不需要運行當前命令

建立一個名字為ppocr的docker容器，並將當前目錄對映到容器的/paddle目錄下

如果您希望在CPU環境下使用docker，使用docker而不是nvidia-docker建立docker sudo docker run --name ppocr -v $PWD:/paddle --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash

如果使用CUDA10，請執行以下命令建立容器，設定docker容器共享記憶體shm-size為64G，建議設定32G以上 sudo nvidia-docker run --name ppocr -v $PWD:/paddle --shm-size=64G --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash

您也可以訪問DockerHub獲取與您機器適配的映象。

ctrl+P+Q可退出docker 容器，重新進入docker 容器使用如下命令

sudo docker container exec -it ppocr /bin/bash ```

2. 安裝PaddlePaddle 2.0 ``` pip3 install --upgrade pip

如果您的機器安裝的是CUDA9或CUDA10，請執行以下命令安裝 python3 -m pip install paddlepaddle-gpu==2.0.0 -i http://mirror.baidu.com/pypi/simple

如果您的機器是CPU，請執行以下命令安裝

python3 -m pip install paddlepaddle==2.0.0 -i http://mirror.baidu.com/pypi/simple

更多的版本需求，請參照安裝文件中的說明進行操作。 ```

3. 克隆PaddleOCR repo程式碼 ``` 【推薦】git clone http://github.com/PaddlePaddle/PaddleOCR

如果因為網路問題無法pull成功，也可選擇使用碼雲上的託管：

git clone http://gitee.com/paddlepaddle/PaddleOCR

注：碼雲託管程式碼可能無法實時同步本github專案更新，存在3~5天延時，請優先使用推薦方式。 ```

4. 安裝第三方庫 ``` cd PaddleOCR pip3 install -r requirements.txt

如果有問題可以留言,我會幫你處理

重點程式碼分析

httpClient呼叫PaddleOCR API 開始自動失敗重試策略 ```js services.AddHttpClient("ocr", c => { c.BaseAddress = new Uri("http://paddleocr.i247365.net/predict/ocr_system"); c.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json")); }) .AddTransientHttpErrorPolicy(policy => policy.WaitAndRetryAsync(3, _ => TimeSpan.FromMilliseconds(1000))); ;

public void Recognition(int id) { using (var client = _httpClientFactory.CreateClient("ocr")) { var invoice = _context.Invoices.Find(id); var imgfile = Path.Combine(Directory.GetCurrentDirectory(), invoice.AttachmentUrl); var bytes = File.ReadAllBytes(imgfile); string base64string = Convert.ToBase64String(bytes); var response = client.PostAsJsonAsync("", new { images = new string[] { base64string } }).Result; } Console.WriteLine($"{id}, completed."); } 解析發票資訊,目前還是使用比較笨的方法，通過正則表示式來匹配需要的欄位，比如發票金額，開票日期，發票號碼等等，因為這是免費的並沒有提供像收費服務那樣更智慧的匹配,這裡我想只要有足夠的資料，應該也可以通過自己訓練實現更智慧的識別。所以我留了Label欄位，目的就是先有人工制定好對應的欄位欄位，然後通過座標資料進行訓練。js if(response.StatusCode== System.Net.HttpStatusCode.OK) { var result = response.Content.ReadAsStringAsync().Result; var ocr_result = JsonSerializer.Deserialize(result); var ocr_status = ""; invoice.Status = "Done"; invoice.Result = ocr_result.status; if (ocr_result.status== "000") { foreach(var collection in ocr_result.results) { foreach(var item in collection) { var rawdata = new InvoiceRawData() { Confidence=item.confidence, InvoiceId=id, Text=item.text, Text_Region= JsonSerializer.Serialize(item.text_region) }; if (item.text.Contains("發票號碼")) { var regex = new Regex("\d$"); var mc = regex.Match(item.text); if(mc.Success) { invoice.InvoiceNo = mc.Value; } } if (item.text.Contains("開票日期")) { var regex = new Regex("\d{4}年\d{2}月\d{2}日"); var mc = regex.Match(item.text); if (mc.Success) { invoice.InvoiceDate = Convert.ToDateTime(mc.Value.Replace("年","/").Replace("月", "/").Replace("日", "")); } } if (item.text.Contains("%")) { var regex = new Regex("^\d.\d"); var mc = regex.Match(item.text); if (mc.Success) { invoice.TaxRate = decimal.Parse(mc.Value); } } if (item.text.Contains("￥")) { var regex = new Regex("\d.\d"); var mc = regex.Match(item.text); if (mc.Success) { invoice.Amount = decimal.Parse(mc.Value); } } _context.InvoiceRawDatas.Add(rawdata); } } ocr_status = ocr_result.status;

                }
                _context.SaveChangesAsync(default).Wait();
                _hubContext.Clients.All.SendAsync(SignalR.OCRTaskCompleted, new { invoiceNo = invoice.InvoiceNo  });



            }

Canvas 畫框標註識別結果 ![](http://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6b5ff50cc4454b65afe0f7ef08418b1f~tplv-k3u1fbpfcp-zoom-1.image)js data.map((item,index) => { $('#rawdata_table > tbody').append(<tr><td>${index + 1}</td><td>${item.Text}</td><td></td></tr>); var points = JSON.parse(item.Text_Region); ctx.lineWidth = "5"; ctx.strokeStyle = "#00ff00"; ctx.textAlign = 'left'; ctx.textBaseline = 'top'; ctx.fillStyle = "#ff0000"; ctx.font = "bold 13px verdana, sans-serif "; ctx.fillText(item.Text, points[0][0], points[0][1]-15); ctx.beginPath(); ctx.moveTo(points[0][0], points[0][1]); ctx.lineTo(points[1][0], points[1][1]); ctx.lineTo(points[2][0], points[2][1]); ctx.lineTo(points[3][0], points[3][1]); ctx.closePath(); ctx.stroke(); }); ``` 是不是很簡單，很酷

最後

Give a Star! ⭐

If you like or are using this project please give it a star. Thanks! RazorPageCleanArchitecture\features\invoice_ocr

基於PaddleOCR實現AI發票識別的Asp.net Core應用