JavaCV的攝像頭實戰之十四:口罩檢測
一起養成寫作習慣!這是我參與「掘金日新計劃 · 4 月更文挑戰」的第10天,點選檢視活動詳情。
歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套原始碼):http://github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝像頭實戰》系列的第十四篇,如標題所說,今天的功能是檢測攝像頭內的人是否帶了口罩,把檢測結果實時標註在預覽視窗,如下圖所示:
- 整個處理流程如下,實現口罩檢測的關鍵是將圖片提交到百度AI開放平臺,然後根據平臺返回的結果在本地預覽視窗標識出人臉位置,以及此人是否帶了口罩:
問題提前告知
- 依賴雲平臺處理業務的一個典型問題,就是處理速度受限
- 首先,如果您在百度AI開放平臺註冊的賬號是個人型別,那麼免費的介面呼叫會被限制到一秒鐘兩次,如果是企業型別賬號,該限制是十次
- 其次,經過實測,一次人臉檢測介面耗時300ms以上
- 最終,實際上一秒鐘只能處理兩幀,這樣的效果在預覽視窗展現出來,就只能是幻燈片效果了(低於每秒十五幀就能感受到明顯的卡頓)
- 因此,本文只適合基本功能展示,無法作為實際場景的解決方案
關於百度AI開放平臺
- 為了正常使用百度AI開放平臺的服務,您需要完成一些註冊和申請操作,詳情請參考《最簡單的人臉檢測(免費呼叫百度AI開放平臺介面)》
- 現在,如果您完成了百度AI開放平臺的註冊和申請,那麼,現在手裡應該有可用的access_token,那麼現在可以開始編碼了
編碼:新增依賴庫
- 本文繼續使用《JavaCV的攝像頭實戰之一:基礎》建立的simple-grab-push工程
- 首先是在pom.xml中增加okhttp和jackson依賴,分別用於網路請求和JSON解析:
xml <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>3.10.0</version> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.11.0</version> </dependency>
編碼:封裝請求和響應百度AI開放平臺的程式碼
- 接下來要開發一個服務類,這個服務類封裝了所有和百度AI開放平臺相關的程式碼
-
首先,定義web請求的request物件FaceDetectRequest.java: ```java @Data public class FaceDetectRequest { // 圖片資訊(總資料大小應小於10M),圖片上傳方式根據image_type來判斷 String image;
// 圖片型別 // BASE64:圖片的base64值,base64編碼後的圖片資料,編碼後的圖片大小不超過2M; // URL:圖片的 URL地址( 可能由於網路等原因導致下載圖片時間過長); // FACE_TOKEN: 人臉圖片的唯一標識,呼叫人臉檢測介面時,會為每個人臉圖片賦予一個唯一的FACE_TOKEN,同一張圖片多次檢測得到的FACE_TOKEN是同一個。 @JsonProperty("image_type") String imageType;
// 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing資訊 //逗號分隔. 預設只返回face_token、人臉框、概率和旋轉角度 @JsonProperty("face_field") String faceField;
// 最多處理人臉的數目,預設值為1,根據人臉檢測排序型別檢測圖片中排序第一的人臉(預設為人臉面積最大的人臉),最大值120 @JsonProperty("max_face_num") int maxFaceNum;
// 人臉的型別 // LIVE表示生活照:通常為手機、相機拍攝的人像圖片、或從網路獲取的人像圖片等 // IDCARD表示身份證晶片照:二代身份證內建晶片中的人像照片 // WATERMARK表示帶水印證件照:一般為帶水印的小圖,如公安網小圖 // CERT表示證件照片:如拍攝的身份證、工卡、護照、學生證等證件圖片 // 預設LIVE @JsonProperty("face_type") String faceType;
// 活體控制 檢測結果中不符合要求的人臉會被過濾 // NONE: 不進行控制 // LOW:較低的活體要求(高通過率 低攻擊拒絕率) // NORMAL: 一般的活體要求(平衡的攻擊拒絕率, 通過率) // HIGH: 較高的活體要求(高攻擊拒絕率 低通過率) // 預設NONE @JsonProperty("liveness_control") String livenessControl;
// 人臉檢測排序型別 // 0:代表檢測出的人臉按照人臉面積從大到小排列 // 1:代表檢測出的人臉按照距離圖片中心從近到遠排列 // 預設為0 @JsonProperty("face_sort_type") int faceSortType; }
- 其次,定義web響應物件FaceDetectResponse.java:
java @Data @ToString public class FaceDetectResponse implements Serializable { // 返回碼 @JsonProperty("error_code") String errorCode; // 描述資訊 @JsonProperty("error_msg") String errorMsg; // 返回的具體內容 Result result;@Data public static class Result { // 人臉數量 @JsonProperty("face_num") private int faceNum; // 每個人臉的資訊 @JsonProperty("face_list") List
faceList; /** * @author willzhao * @version 1.0 * @description 檢測出來的人臉物件 * @date 2022/1/1 16:03 */ @Data public static class Face { // 位置 Location location; // 是人臉的置信度 @JsonProperty("face_probability") double face_probability; // 口罩 Mask mask; /** * @author willzhao * @version 1.0 * @description 人臉在圖片中的位置 * @date 2022/1/1 16:04 */ @Data public static class Location { double left; double top; double width; double height; double rotation; } /** * @author willzhao * @version 1.0 * @description 口罩物件 * @date 2022/1/1 16:11 */ @Data public static class Mask { int type; double probability; } }
} }
- 然後是服務類BaiduCloudService.java,把請求和響應百度AI開放平臺的邏輯全部集中在這裡,可見其實很簡單:根據圖片的base64字串構造請求物件、發POST請求(path是人臉檢測服務)、收到響應後用Jackson反序列化成FaceDetectResponse物件:
java public class BaiduCloudService {OkHttpClient client = new OkHttpClient();
static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");
static final String URL_TEMPLATE = "http://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";
String token;
ObjectMapper mapper = new ObjectMapper();
public BaiduCloudService(String token) { this.token = token;
// 重要:反序列化的時候,字元的欄位如果比類的欄位多,下面這個設定可以確保反序列化成功 mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
}
/* * 檢測指定的圖片 * @param imageBase64 * @return / public FaceDetectResponse detect(String imageBase64) { // 請求物件 FaceDetectRequest faceDetectRequest = new FaceDetectRequest(); faceDetectRequest.setImageType("BASE64"); faceDetectRequest.setFaceField("mask"); faceDetectRequest.setMaxFaceNum(6); faceDetectRequest.setFaceType("LIVE"); faceDetectRequest.setLivenessControl("NONE"); faceDetectRequest.setFaceSortType(0); faceDetectRequest.setImage(imageBase64);
FaceDetectResponse faceDetectResponse = null; try { // 用Jackson將請求物件序列化成字串 String jsonContent = mapper.writeValueAsString(faceDetectRequest); // RequestBody requestBody = RequestBody.create(JSON, jsonContent); Request request = new Request .Builder() .url(String.format(URL_TEMPLATE, token)) .post(requestBody) .build(); Response response = client.newCall(request).execute(); String rawRlt = response.body().string(); faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class); } catch (IOException ioException) { ioException.printStackTrace(); } return faceDetectResponse;
} } ``` - 服務類寫完了,接下來是主程式把整個邏輯串起來
DetectService介面的實現
- 熟悉《JavaCV的攝像頭實戰》系列的讀者應該對DetectService介面不陌生了,為了在整個系列的諸多實戰中以統一的風格實現抓取幀-->處理幀-->輸出處理結果這樣的流程,咱們定義了一個DetectService介面,每種不同幀處理業務按照自己的特點來實現此介面即可(例如人臉檢測、年齡檢測、性別檢測等)
- 先來回顧DetectService介面: ```java public interface DetectService {
/* * 根據傳入的MAT構造相同尺寸的MAT,存放灰度圖片用於以後的檢測 * @param src 原始圖片的MAT物件 * @return 相同尺寸的灰度圖片的MAT物件 / static Mat buildGrayImage(Mat src) { return new Mat(src.rows(), src.cols(), CV_8UC1); }
/* * 檢測圖片,將檢測結果用矩形標註在原始圖片上 * @param classifier 分類器 * @param converter Frame和mat的轉換器 * @param rawFrame 原始視訊幀 * @param grabbedImage 原始視訊幀對應的mat * @param grayImage 存放灰度圖片的mat * @return 標註了識別結果的視訊幀 / static Frame detect(CascadeClassifier classifier, OpenCVFrameConverter.ToMat converter, Frame rawFrame, Mat grabbedImage, Mat grayImage) {
// 當前圖片轉為灰度圖片 cvtColor(grabbedImage, grayImage, CV_BGR2GRAY); // 存放檢測結果的容器 RectVector objects = new RectVector(); // 開始檢測 classifier.detectMultiScale(grayImage, objects); // 檢測結果總數 long total = objects.size(); // 如果沒有檢測到結果,就用原始幀返回 if (total<1) { return rawFrame; } // 如果有檢測結果,就根據結果的資料構造矩形框,畫在原圖上 for (long i = 0; i < total; i++) { Rect r = objects.get(i); int x = r.x(), y = r.y(), w = r.width(), h = r.height(); rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0); } // 釋放檢測結果資源 objects.close(); // 將標註過的圖片轉為幀,返回 return converter.convert(grabbedImage);
}
/* * 初始化操作,例如模型下載 * @throws Exception / void init() throws Exception;
/* * 得到原始幀,做識別,新增框選 * @param frame * @return / Frame convert(Frame frame);
/* * 釋放資源 / void releaseOutputResource(); }
- 再來看看本次實戰中DetectService介面的實現類BaiduCloudDetectService.java,有幾處要注意的地方稍後會提到:
java @Slf4j public class BaiduCloudDetectService implements DetectService {/* * 每一幀原始圖片的物件 / private Mat grabbedImage = null;
/* * 百度雲的token / private String token;
/* * 圖片的base64字串 / private String base64Str;
/* * 百度雲服務 / private BaiduCloudService baiduCloudService;
private OpenCVFrameConverter.ToMat openCVConverter = new OpenCVFrameConverter.ToMat();
private Java2DFrameConverter java2DConverter = new Java2DFrameConverter();
private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
private BASE64Encoder encoder = new BASE64Encoder();
/* * 構造方法,在此指定模型檔案的下載地址 * @param token / public BaiduCloudDetectService(String token) { this.token = token; }
/* * 百度雲服務物件的初始化 * @throws Exception / @Override public void init() throws Exception { baiduCloudService = new BaiduCloudService(token); }
@Override public Frame convert(Frame frame) { // 將原始幀轉成base64字串 base64Str = frame2Base64(frame);
// 記錄請求開始的時間 long startTime = System.currentTimeMillis(); // 交給百度雲進行人臉和口罩檢測 FaceDetectResponse faceDetectResponse = baiduCloudService.detect(base64Str); // 如果檢測失敗,就提前返回了 if (null==faceDetectResponse || null==faceDetectResponse.getErrorCode() || !"0".equals(faceDetectResponse.getErrorCode())) { String desc = ""; if (null!=faceDetectResponse) { desc = String.format(",錯誤碼[%s],錯誤資訊[%s]", faceDetectResponse.getErrorCode(), faceDetectResponse.getErrorMsg()); } log.error("檢測人臉失敗", desc); // 提前返回 return frame; } log.info("檢測耗時[{}]ms,結果:{}", (System.currentTimeMillis()-startTime), faceDetectResponse); // 如果拿不到檢測結果,就返回原始幀 if (null==faceDetectResponse.getResult() || null==faceDetectResponse.getResult().getFaceList()) { log.info("未檢測到人臉"); return frame; } // 取出百度雲的檢測結果,後面會逐個處理 List<FaceDetectResponse.Result.Face> list = faceDetectResponse.getResult().getFaceList(); FaceDetectResponse.Result.Face face; FaceDetectResponse.Result.Face.Location location; String desc; Scalar color; int pos_x; int pos_y; // 如果有檢測結果,就根據結果的資料構造矩形框,畫在原圖上 for (int i = 0; i < list.size(); i++) { face = list.get(i); // 每張人臉的位置 location = face.getLocation(); int x = (int)location.getLeft(); int y = (int)location.getHeight(); int w = (int)location.getWidth(); int h = (int)location.getHeight(); // 口罩欄位的type等於1表示帶口罩,0表示未帶口罩 if (1==face.getMask().getType()) { desc = "Mask"; color = Scalar.GREEN; } else { desc = "No mask"; color = Scalar.RED; } // 在圖片上框出人臉 rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), color, 1, CV_AA, 0); // 人臉標註的橫座標 pos_x = Math.max(x-10, 0); // 人臉標註的縱座標 pos_y = Math.max(y-10, 0); // 給人臉做標註,標註是否佩戴口罩 putText(grabbedImage, desc, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, color); } // 將標註過的圖片轉為幀,返回 return converter.convert(grabbedImage);
}
/* * 程式結束前,釋放人臉識別的資源 / @Override public void releaseOutputResource() { if (null!=grabbedImage) { grabbedImage.release(); } }
private String frame2Base64(Frame frame) { grabbedImage = converter.convert(frame); BufferedImage bufferedImage = java2DConverter.convert(openCVConverter.convert(grabbedImage)); ByteArrayOutputStream bStream = new ByteArrayOutputStream(); try { ImageIO.write(bufferedImage, "png", bStream); } catch (IOException e) { throw new RuntimeException("bugImg讀取失敗:"+e.getMessage(),e); }
return encoder.encode(bStream.toByteArray());
} } ``` - 上述程式碼有以下幾點要注意: 1. 整個BaiduCloudDetectService類,主要是對前面BaiduCloudService類的使用 2. convert方法中,拿到frame例項後會轉為base64字串,用於提交到百度AI開放平臺做人臉檢測 3. 百度AI開放平臺的檢測結果中有多個人臉檢測結果,這裡要逐個處理:取出每個人臉的位置,以此位置在原圖畫矩形框,然後根據是否戴口罩在人臉上做標記,戴口罩的是綠色標記(包括矩形框),不戴口罩的是紅色矩形框
主程式
- 最後是主程式了,還是《JavaCV的攝像頭實戰》系列的套路,咱們來看看主程式的服務類定義好的框架
- 《JavaCV的攝像頭實戰之一:基礎》建立的simple-grab-push工程中已經準備好了父類AbstractCameraApplication,所以本篇繼續使用該工程,建立子類實現那些抽象方法即可
- 編碼前先回顧父類的基礎結構,如下圖,粗體是父類定義的各個方法,紅色塊都是需要子類來實現抽象方法,所以接下來,咱們以本地視窗預覽為目標實現這三個紅色方法即可:
- 新建檔案PreviewCameraWithBaiduCloud.java,這是AbstractCameraApplication的子類,其程式碼很簡單,接下來按上圖順序依次說明
- 先定義CanvasFrame型別的成員變數previewCanvas,這是展示視訊幀的本地視窗:
java protected CanvasFrame previewCanvas
- 把前面建立的DetectService作為成員變數,後面檢測的時候會用到: ```java /**
- 檢測工具介面 */ private DetectService detectService; ```
- PreviewCameraWithBaiduCloud的構造方法,接受DetectService的例項: ```java /**
- 不同的檢測工具,可以通過構造方法傳入
- @param detectService */ public PreviewCameraWithBaiduCloud(DetectService detectService) { this.detectService = detectService; } ```
-
然後是初始化操作,可見是previewCanvas的例項化和引數設定,還有檢測、識別的初始化操作: ```java @Override protected void initOutput() throws Exception { previewCanvas = new CanvasFrame("攝像頭預覽", CanvasFrame.getDefaultGamma() / grabber.getGamma()); previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); previewCanvas.setAlwaysOnTop(true);
// 檢測服務的初始化操作 detectService.init(); }
- 接下來是output方法,定義了拿到每一幀視訊資料後做什麼事情,這裡呼叫了detectService.convert檢測人臉並識別性別,然後在本地視窗顯示:
java @Override protected void output(Frame frame) { // 原始幀先交給檢測服務處理,這個處理包括物體檢測,再將檢測結果標註在原始圖片上, // 然後轉換為幀返回 Frame detectedFrame = detectService.convert(frame); // 預覽視窗上顯示的幀是標註了檢測結果的幀 previewCanvas.showImage(detectedFrame); }- 最後是處理視訊的迴圈結束後,程式退出前要做的事情,先關閉本地視窗,再釋放檢測服務的資源:
java @Override protected void releaseOutputResource() { if (null!= previewCanvas) { previewCanvas.dispose(); }// 檢測工具也要釋放資源 detectService.releaseOutputResource(); }
- 每一幀耗時太多,所以兩幀之間就不再額外間隔了:
java @Override protected int getInterval() { return 0; }- 至此,功能已開發完成,再寫上main方法,程式碼如下,請注意token的值是前面在百度AI開放平臺取得的access_token:
java public static void main(String[] args) { String token = "21.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.xxxxxxx.xxxxxxxxxx.xxxxxx-xxxxxxxx"; new PreviewCameraWithBaiduCloud(new BaiduCloudDetectService(token)).action(1000); } ``` - 至此,程式碼寫完了,準備好攝像頭開始驗證,群眾演員為了免費盒飯已經在寒風中等了很久啦驗證
- 執行PreviewCameraWithBaiduCloud的main方法,請群眾演員出現在攝像頭前面,此時不戴口罩,可見人臉上是紅色字型和矩形框:
- 執行PreviewCameraWithBaiduCloud的main方法,請群眾演員出現在攝像頭前面,此時不戴口罩,可見人臉上是紅色字型和矩形框:
-
讓群眾演員戴上口罩,再次出現在攝像頭前面,這次檢測到了口罩,顯示了綠色標註和矩形框:
- 實際體驗中,由於一秒鐘最多隻有兩幀,在預覽視窗展示時完全是幻燈片效果,慘不忍睹...
- 本篇部落格使用了群眾演員兩張照片,所以被他領走了兩份盒飯,欣宸很心疼...
- 至此,基於JavaCV和百度AI開放平臺實現的口罩檢測功能已完成,希望您繼續關注《JavaCV的攝像頭實戰》系列,之後的實戰更精彩
歡迎關注掘金:程式設計師欣宸
- 瀏覽器上寫程式碼,4核8G微軟伺服器免費用,Codespaces真香
- Java擴充套件Nginx之三:基礎配置項
- Java擴充套件Nginx之一:你好,nginx-clojure
- JavaCV的攝像頭實戰之十四:口罩檢測
- JavaCV人臉識別三部曲之二:訓練
- JavaCV人臉識別三部曲之一:視訊中的人臉儲存為圖片
- JavaCV的攝像頭實戰之八:人臉檢測
- 超詳細的編碼實戰,讓你的springboot應用識別圖片中的行人、汽車、狗子、喵星人(JavaCV YOLO4)
- Java應用日誌如何與Jaeger的trace關聯
- Spring Cloud Gateway實戰之五:內建filter
- Spring Cloud Gateway的斷路器(CircuitBreaker)功能
- Java版流媒體編解碼和影象處理(JavaCPP FFmpeg)
- DL4J實戰之六:圖形化展示訓練過程
- 純淨Ubuntu16安裝CUDA(9.1)和cuDNN
- disruptor筆記之六:常見場景
- Spring Cloud Gateway過濾器精確控制異常返回(分析篇)
- disruptor筆記之四:事件消費知識點小結
- disruptor筆記之二:Disruptor類分析
- disruptor筆記之一:快速入門
- Spring Native實戰(暢快體驗79毫秒啟動springboot應用)