JavaCV的攝像頭實戰之八:人臉檢測
一起養成寫作習慣!這是我參與「掘金日新計劃 · 4 月更文挑戰」的第2天,點選檢視活動詳情
歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼):http://github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝像頭實戰》的第八篇,前面的操作夯實了的幀和流處理的基本功,接下來開始實現一些常見的CV能力,就從本篇的人檢測別開始吧
- OpenCV中常用的人臉檢測是基於Haar特徵的級聯分類器,本篇藉助JavaCV來使用該分類器實現人臉檢測
簡單的設計
- 編碼之前先把要做的事情梳理一下:
-
檢測功能可能用在多個場景:視窗預覽、推流、存檔案都可能用到,所以檢測功能的程式碼最好獨立出來,不要和預覽、推流這些程式碼寫在一起,如下圖,檢測的介面DetectService會作為每個應用的成員變數存在:
-
檢測服務不僅是人臉檢測,今後還有人體檢測、物體檢測等等,所以設計一個檢測服務介面DetectService,人臉檢測、人體檢測、物體檢測這些類都是這個介面的實現,如下圖所示,對於預覽、推流、存檔案這個應用的程式碼,直接使用介面的API即可,具體檢測的實現類可以在初始化的時候確定
-
聰明的您應該會覺得欣宸的水平過於原始:上面的設計不就是Spring的依賴注入嗎?為啥不用呢?其實這個系列的重點是JavaCV,所以保持程式碼簡單吧,不引入Spring框架了
-
總的來說,今天的要寫的程式碼如下圖所示,綠色塊的AbstractCameraApplication類已在《JavaCV的攝像頭實戰之一:基礎》一文中完成,其餘三個全部在本篇編寫,包括兩個java類、一個介面:
-
分析得差不多了,開始編碼,先寫介面DetectService
檢測服務介面DetectService
-
新增介面DetectService.java,裡面有三個方法定義: ```java /**
- 初始化操作,例如模型下載
- @throws Exception */ void init() throws Exception;
/* * 得到原始幀,做檢測,新增框選 * @param frame * @return / Frame convert(Frame frame);
/* * 釋放資源 / void releaseOutputResource();
- 另外還有兩個靜態方法,也放在DetectService.java中,第一個是<font color="blue">buildGrayImage</font>,該方法會根據入參Mat的尺寸新建一個Mat物件,新建的物件用於儲存灰度圖片,因為檢測時用的是灰度圖片而不是原圖:
java static Mat buildGrayImage(Mat src) { return new Mat(src.rows(), src.cols(), CV_8UC1); }- 第二個方法是第一個是<font color="blue">detect</font>,該方法非常重要:將原圖轉為灰度圖片,再用指定的分類器檢測,將檢測結果在原圖上標註出來,標註後的Mat轉為Frame物件返回:
java static Frame detect(CascadeClassifier classifier, OpenCVFrameConverter.ToMat converter, Frame rawFrame, Mat grabbedImage, Mat grayImage) {// 當前圖片轉為灰度圖片 cvtColor(grabbedImage, grayImage, CV_BGR2GRAY); // 存放檢測結果的容器 RectVector objects = new RectVector(); // 開始檢測 classifier.detectMultiScale(grayImage, objects); // 檢測結果總數 long total = objects.size(); // 如果沒有檢測到結果,就用原始幀返回 if (total<1) { return rawFrame; } // 如果有檢測結果,就根據結果的資料構造矩形框,畫在原圖上 for (long i = 0; i < total; i++) { Rect r = objects.get(i); int x = r.x(), y = r.y(), w = r.width(), h = r.height(); rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0); } // 釋放檢測結果資源 objects.close(); // 將標註過的圖片轉為幀,返回 return converter.convert(grabbedImage);
} ``` - 以上就是介面DetectService.java的全部:三個方法定義,兩個靜態方法,接下來就是介面的實現類了
人臉檢測功能的實現類
- 前面的DetectService介面僅定義了三個方法:初始化(init)、檢測(convert)、資源釋放(releaseOutputResource),現在開發這個介面的實現類HaarCascadeDetectService.java,實現真正的人臉檢測功能
-
完整程式碼如下,核心是init方法中例項化的分類器classifier,以及負責處理每一幀的convert方法,這裡面會中呼叫剛才寫的靜態方法DetectService.detect,把原始幀轉換成標註了檢測結果的幀: ```java @Slf4j public class HaarCascadeDetectService implements DetectService {
/* * 每一幀原始圖片的物件 / private Mat grabbedImage = null;
/* * 原始圖片對應的灰度圖片物件 / private Mat grayImage = null;
/* * 分類器 / private CascadeClassifier classifier;
/* * 轉換器 / private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
/* * 模型檔案的下載地址 / private String modelFileUrl;
/* * 構造方法,在此指定模型檔案的下載地址 * @param modelFileUrl / public HaarCascadeDetectService(String modelFileUrl) { this.modelFileUrl = modelFileUrl; }
/* * 音訊取樣物件的初始化 * @throws Exception / @Override public void init() throws Exception { // 下載模型檔案 URL url = new URL(modelFileUrl); File file = Loader.cacheResource(url);
// 模型檔案下載後的完整地址 String classifierName = file.getAbsolutePath(); // 根據模型檔案例項化分類器 classifier = new CascadeClassifier(classifierName); if (classifier == null) { log.error("Error loading classifier file [{}]", classifierName); System.exit(1); }
}
@Override public Frame convert(Frame frame) { // 由幀轉為Mat grabbedImage = converter.convert(frame);
// 灰度Mat,用於檢測 if (null==grayImage) { grayImage = DetectService.buildGrayImage(grabbedImage); } // 進行人臉檢測,根據結果做處理得到預覽視窗顯示的幀 return DetectService.detect(classifier, converter, frame, grabbedImage, grayImage);
}
/* * 程式結束前,釋放人臉檢測的資源 / @Override public void releaseOutputResource() { if (null!=grabbedImage) { grabbedImage.release(); }
if (null!=grayImage) { grayImage.release(); } if (null==classifier) { classifier.close(); }
} } ```
主程式PreviewCameraWithDetect
- 在《JavaCV的攝像頭實戰之一:基礎》一文建立的simple-grab-push工程中已經準備好了父類AbstractCameraApplication,所以本篇繼續使用該工程,建立子類實現那些抽象方法即可
- 編碼前先回顧父類的基礎結構,如下圖,粗體是父類定義的各個方法,紅色塊都是需要子類來實現抽象方法,所以接下來,咱們以本地視窗預覽為目標實現這三個紅色方法即可:
- 新建檔案PreviewCameraWithDetect.java,這是AbstractCameraApplication的子類,其程式碼很簡單,接下來按上圖順序依次說明
- 先定義CanvasFrame型別的成員變數previewCanvas,這是展示視訊幀的本地視窗:
java protected CanvasFrame previewCanvas
- 還要定義DetectService型別的成員變數,用於稍後的檢測操作,並在構造方法中對改成員變數賦值: ```java
private DetectService detectService;
public PreviewCameraWithDetect(DetectService detectService) { this.detectService = detectService; }
- 然後是初始化操作,除了previewCanvas的例項化和引數設定,還要呼叫檢測服務的初始化方法:
java @Override protected void initOutput() throws Exception { previewCanvas = new CanvasFrame("攝像頭預覽", CanvasFrame.getDefaultGamma() / grabber.getGamma()); previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); previewCanvas.setAlwaysOnTop(true);// 檢測服務的初始化操作 detectService.init();
}
- 接下來是output方法,定義了拿到每一幀視訊資料後做什麼事情,這裡會交給檢測服務去處理,將處理結果在本地視窗顯示:
java @Override protected void output(Frame frame) { // 原始幀先交給檢測服務處理,這個處理包括物體檢測,再將檢測結果標註在原始圖片上, // 然後轉換為幀返回 Frame detectedFrame = detectService.convert(frame); // 預覽視窗上顯示的幀是標註了檢測結果的幀 previewCanvas.showImage(detectedFrame); }- 由於檢測服務也會耗時,所以這裡調整每幀輸出後的等待時間,以免預覽時卡頓,請依照自己電腦CPU效能調整,我這裡改為原有時長的八分之一:
java @Override protected int getInterval() { return super.getInterval()/8; }- 最後是處理視訊的迴圈結束後,程式退出前要做的事情,即關閉本地視窗,另外還要呼叫檢測服務的releaseOutputResource來釋放其相關資源:
java @Override protected void releaseOutputResource() { if (null!= previewCanvas) { previewCanvas.dispose(); }// 檢測工具也要釋放資源 detectService.releaseOutputResource();
}
- 至此,用本地視窗預覽攝像頭的功能已開發完成,再寫上main方法,注意引數<font color="red">**100**</font>表示預覽持續時間是100秒,<font color="blue">modelFileUrl</font>是模型檔案在GitHub上的地址(註釋掉的那個是人體的,您也可以試試):
java public static void main(String[] args) { String modelPath = "http://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml"; // String modelPath = "http://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_upperbody.xml"; new PreviewCameraWithDetect(new HaarCascadeDetectService(modelPath)).action(1000); } ``` - 執行main方法即可啟動程式,如下圖,預覽視窗中如果有人像,人臉上就會出現紅框(為了不侵犯群眾演員的肖像權,手動對面部做了馬賽克處理):- 至此,本地視窗預覽整合人臉檢測的功能就完成了,得益於JavaCV的強大,整個過程是如此的輕鬆愉快,接下來請繼續關注欣宸原創,《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用; - 本文涉及的所有程式碼都能在接下來的介紹的GitHub倉庫中找到
原始碼下載
- 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到,地址和連結資訊如下表所示(http://github.com/zq2599/blog_demos):
| 名稱 | 連結 | 備註| | :-------- | :----| :----| | 專案主頁| http://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 | | git倉庫地址(https)| http://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址,https協議 | | git倉庫地址(ssh)| [email protected]:zq2599/blog_demos.git | 該專案原始碼的倉庫地址,ssh協議 |
- 這個git專案中有多個資料夾,本篇的原始碼在javacv-tutorials資料夾下,如下圖紅框所示:
- javacv-tutorials裡面有多個子工程,《JavaCV的攝像頭實戰》系列的程式碼在simple-grab-push工程下:
歡迎關注掘金:程式設計師欣宸
- 瀏覽器上寫程式碼,4核8G微軟伺服器免費用,Codespaces真香
- Java擴充套件Nginx之三:基礎配置項
- Java擴充套件Nginx之一:你好,nginx-clojure
- JavaCV的攝像頭實戰之十四:口罩檢測
- JavaCV人臉識別三部曲之二:訓練
- JavaCV人臉識別三部曲之一:視訊中的人臉儲存為圖片
- JavaCV的攝像頭實戰之八:人臉檢測
- 超詳細的編碼實戰,讓你的springboot應用識別圖片中的行人、汽車、狗子、喵星人(JavaCV YOLO4)
- Java應用日誌如何與Jaeger的trace關聯
- Spring Cloud Gateway實戰之五:內建filter
- Spring Cloud Gateway的斷路器(CircuitBreaker)功能
- Java版流媒體編解碼和影象處理(JavaCPP FFmpeg)
- DL4J實戰之六:圖形化展示訓練過程
- 純淨Ubuntu16安裝CUDA(9.1)和cuDNN
- disruptor筆記之六:常見場景
- Spring Cloud Gateway過濾器精確控制異常返回(分析篇)
- disruptor筆記之四:事件消費知識點小結
- disruptor筆記之二:Disruptor類分析
- disruptor筆記之一:快速入門
- Spring Native實戰(暢快體驗79毫秒啟動springboot應用)