基於PaddleOCR實現AI發票識別的Asp.net Core應用
簡要介紹
使用者批量上傳需要識別的照片,上傳成功後,系統會啟動Hangfire後臺Job開始呼叫PaddleOCR服務返回結果,這個過程有點類似微服務的架構模型。
PaddleOCR
PaddleOCR是百度AI團隊開源的一個專案,應該是目前所有免費開源OCR專案中識別效果最好的,具體可以通過PaddleOCR瞭解,如果你沒有Python的開發經驗,可能在環境部署上會遇到一些問題,但幾乎都能找到解決方案。
Demo http://razor.i247365.net/invoices/index
- 使用者批量上傳要識別的檔案,由於我的虛擬機器效能非常差,所以才能先上傳系統後臺自動識別
- 系統識別完成後會自動通知使用者並修改狀態,使用者預覽識別的結果
執行環境
- .net 5.0>
- Python 3.7>
- ASP.NET Core Razor Page Application 5.0 原始碼分支(features\invoice_ocr)RazorPageCleanArchitecture\features\invoice_ocr
- PaddleOCR Web API (CentOS 阿里雲主機) PaddlePaddle/PaddleOCR
- Hangfire Dashboard HangfireIO/Hangfire
技術棧
- ASP.NET Core
- Jquery/Javascript
- EasyUI
- Python
安裝PaddleOCR環境
經測試PaddleOCR可在glibc 2.23上執行,您也可以測試其他glibc版本或安裝glic 2.23 PaddleOCR 工作環境 - PaddlePaddle 2.0.0 - python3.7 - glibc 2.23 - cuDNN 7.6+ (GPU)
建議使用我們提供的docker執行PaddleOCR,有關docker、nvidia-docker使用請參考連結。
如您希望使用 mac 或 windows直接執行預測程式碼,可以從第2步開始執行。
1. (建議)準備docker環境。第一次使用這個映象,會自動下載該映象,請耐心等待。 ```
切換到工作目錄下
cd /home/Projects
首次執行需建立一個docker容器,再次執行時不需要運行當前命令
建立一個名字為ppocr的docker容器,並將當前目錄對映到容器的/paddle目錄下
如果您希望在CPU環境下使用docker,使用docker而不是nvidia-docker建立docker sudo docker run --name ppocr -v $PWD:/paddle --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash
如果使用CUDA10,請執行以下命令建立容器,設定docker容器共享記憶體shm-size為64G,建議設定32G以上 sudo nvidia-docker run --name ppocr -v $PWD:/paddle --shm-size=64G --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash
您也可以訪問DockerHub獲取與您機器適配的映象。
ctrl+P+Q可退出docker 容器,重新進入docker 容器使用如下命令
sudo docker container exec -it ppocr /bin/bash ```
2. 安裝PaddlePaddle 2.0 ``` pip3 install --upgrade pip
如果您的機器安裝的是CUDA9或CUDA10,請執行以下命令安裝 python3 -m pip install paddlepaddle-gpu==2.0.0 -i http://mirror.baidu.com/pypi/simple
如果您的機器是CPU,請執行以下命令安裝
python3 -m pip install paddlepaddle==2.0.0 -i http://mirror.baidu.com/pypi/simple
更多的版本需求,請參照安裝文件中的說明進行操作。 ```
3. 克隆PaddleOCR repo程式碼 ``` 【推薦】git clone http://github.com/PaddlePaddle/PaddleOCR
如果因為網路問題無法pull成功,也可選擇使用碼雲上的託管:
git clone http://gitee.com/paddlepaddle/PaddleOCR
注:碼雲託管程式碼可能無法實時同步本github專案更新,存在3~5天延時,請優先使用推薦方式。 ```
4. 安裝第三方庫 ``` cd PaddleOCR pip3 install -r requirements.txt
如果有問題可以留言,我會幫你處理
重點程式碼分析
httpClient呼叫PaddleOCR API 開始自動失敗重試策略 ```js services.AddHttpClient("ocr", c => { c.BaseAddress = new Uri("http://paddleocr.i247365.net/predict/ocr_system"); c.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json")); }) .AddTransientHttpErrorPolicy(policy => policy.WaitAndRetryAsync(3, _ => TimeSpan.FromMilliseconds(1000))); ;
public void Recognition(int id)
{
using (var client = _httpClientFactory.CreateClient("ocr"))
{
var invoice = _context.Invoices.Find(id);
var imgfile = Path.Combine(Directory.GetCurrentDirectory(), invoice.AttachmentUrl);
var bytes = File.ReadAllBytes(imgfile);
string base64string = Convert.ToBase64String(bytes);
var response = client.PostAsJsonAsync解析發票資訊,目前還是使用比較笨的方法,通過正則表示式來匹配需要的欄位,比如發票金額,開票日期,發票號碼等等,因為這是免費的並沒有提供像收費服務那樣更智慧的匹配,這裡我想只要有足夠的資料,應該也可以通過自己訓練實現更智慧的識別。所以我留了Label欄位,目的就是先有人工制定好對應的欄位欄位,然後通過座標資料進行訓練。
js
if(response.StatusCode== System.Net.HttpStatusCode.OK)
{
var result = response.Content.ReadAsStringAsync().Result;
var ocr_result = JsonSerializer.Deserialize
}
_context.SaveChangesAsync(default).Wait();
_hubContext.Clients.All.SendAsync(SignalR.OCRTaskCompleted, new { invoiceNo = invoice.InvoiceNo });
}
Canvas 畫框標註識別結果
![](http://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6b5ff50cc4454b65afe0f7ef08418b1f~tplv-k3u1fbpfcp-zoom-1.image)
js
data.map((item,index) => {
$('#rawdata_table > tbody').append(<tr><td>${index + 1}</td><td>${item.Text}</td><td></td></tr>
);
var points = JSON.parse(item.Text_Region);
ctx.lineWidth = "5";
ctx.strokeStyle = "#00ff00";
ctx.textAlign = 'left';
ctx.textBaseline = 'top';
ctx.fillStyle = "#ff0000";
ctx.font = "bold 13px verdana, sans-serif ";
ctx.fillText(item.Text, points[0][0], points[0][1]-15);
ctx.beginPath();
ctx.moveTo(points[0][0], points[0][1]);
ctx.lineTo(points[1][0], points[1][1]);
ctx.lineTo(points[2][0], points[2][1]);
ctx.lineTo(points[3][0], points[3][1]);
ctx.closePath();
ctx.stroke();
});
```
是不是很簡單,很酷
最後
Give a Star! ⭐
If you like or are using this project please give it a star. Thanks! RazorPageCleanArchitecture\features\invoice_ocr