鴻蒙輕核心的得力助手：帶你掌握4種記憶體除錯方法
摘要：記憶體調測方法旨在輔助定位動態記憶體相關問題，提供了記憶體池資訊統計、記憶體洩漏檢測和踩記憶體檢測三種調測手段。
本文分享自華為雲社群《鴻蒙輕核心-記憶體調測-記憶體資訊統計》，作者：zhushy 。
記憶體調測方法旨在輔助定位動態記憶體相關問題，提供了基礎的動態記憶體池資訊統計手段，向用戶呈現記憶體池水線、碎片率等資訊；提供了記憶體洩漏檢測手段，方便使用者準確定位存在記憶體洩漏的程式碼行，也可以輔助分析系統各個模組記憶體的使用情況；提供了踩記憶體檢測手段，可以輔助定位越界踩記憶體的場景。
一、記憶體資訊統計
記憶體資訊包括記憶體池大小、記憶體使用量、剩餘記憶體大小、最大空閒記憶體、記憶體水線、記憶體節點數統計、碎片率等。
- 記憶體水線：即記憶體池的最大使用量，每次申請和釋放時，都會更新水線值，實際業務可根據該值，優化記憶體池大小；
- 碎片率：衡量記憶體池的碎片化程度，碎片率高表現為記憶體池剩餘記憶體很多，但是最大空閒記憶體塊很小，可以用公式（fragment=100-最大空閒記憶體塊大小/剩餘記憶體大小）來度量；
- 其他引數：通過記憶體管理模組的呼叫介面，掃描記憶體池的節點資訊，統計出相關資訊。
1、功能配置
LOSCFG_MEM_WATERLINE：開關巨集，預設開啟；若關閉這個功能，在target_config.h中將這個巨集定義為0。如需獲取記憶體水線，需要開啟該配置。
2、開發指導
關鍵結構體介紹：
typedef struct {
UINT32 totalUsedSize; // 記憶體池的記憶體使用量
UINT32 totalFreeSize; // 記憶體池的剩餘記憶體大小
UINT32 maxFreeNodeSize; // 記憶體池的最大空閒記憶體塊大小
UINT32 usedNodeNum; // 記憶體池的非空閒記憶體塊個數
UINT32 freeNodeNum; // 記憶體池的空閒記憶體塊個數
#if (LOSCFG_MEM_WATERLINE == 1) // 預設開啟，如需關閉，在target_config.h中將該巨集設定為0
UINT32 usageWaterLine; // 記憶體池的水線值
#endif
} LOS_MEM_POOL_STATUS;- 記憶體水線獲取
呼叫LOS_MemInfoGet介面，第1個引數是記憶體池首地址，第2個引數是LOS_MEM_POOL_STATUS型別的控制代碼，其中欄位usageWaterLine即水線值。 - 記憶體碎片率計算
同樣呼叫LOS_MemInfoGet介面，可以獲取記憶體池的剩餘記憶體大小和最大空閒記憶體塊大小，然後根據公式（fragment=100-最大空閒記憶體塊大小/剩餘記憶體大小）得出此時的動態記憶體池碎片率。
3、程式設計例項
本例項實現如下功能：
- 1.建立一個監控執行緒，用於獲取記憶體池的資訊；
- 2.呼叫LOS_MemInfoGet介面，獲取記憶體池的基礎資訊；
- 3.利用公式算出使用率及碎片率。
程式碼實現如下：
#include <stdio.h>
#include <string.h>
#include "los_task.h"
#include "los_memory.h"
#include "los_config.h"
void MemInfoTaskFunc(void)
{
LOS_MEM_POOL_STATUS poolStatus = {0};
LOS_MemInfoGet(m_aucSysMem0, &poolStatus);
/* 算出記憶體池當前的碎片率百分比 */
unsigned char fragment = 100 - poolStatus.maxFreeNodeSize * 100 / poolStatus.totalFreeSize;
/* 算出記憶體池當前的使用率百分比 */
unsigned char usage = LOS_MemTotalUsedGet(m_aucSysMem0) * 100 / LOS_MemPoolSizeGet(m_aucSysMem0);
printf("usage = %d, fragment = %d, maxFreeSize = %d, totalFreeSize = %d, waterLine = %d\n", usage, fragment, poolStatus.maxFreeNodeSize,
poolStatus.totalFreeSize, poolStatus.usageWaterLine);
}
int MemTest(void)
{
unsigned int ret;
unsigned int taskID;
TSK_INIT_PARAM_S taskStatus = {0};
taskStatus.pfnTaskEntry = (TSK_ENTRY_FUNC)MemInfoTaskFunc;
taskStatus.uwStackSize = 0x1000;
taskStatus.pcName = "memInfo";
taskStatus.usTaskPrio = 10;
ret = LOS_TaskCreate(&taskID, &taskStatus);
if (ret != LOS_OK) {
printf("task create failed\n");
return -1;
}
return 0;
}編譯執行輸出的結果如下：
usage = 22, fragment = 3, maxFreeSize = 49056, totalFreeSize = 50132, waterLine = 1414二、記憶體洩漏檢測機制
記憶體洩漏檢測機制作為核心的可選功能，用於輔助定位動態記憶體洩漏問題。開啟該功能，動態記憶體機制會自動記錄申請記憶體時的函式呼叫關係（下文簡稱LR）。如果出現洩漏，就可以利用這些記錄的資訊，找到記憶體申請的地方，方便進一步確認。
1、功能配置
- LOSCFG_MEM_LEAKCHECK：開關巨集，預設關閉；若開啟這個功能，在target_config.h中將這個巨集定義為1。
- LOSCFG_MEM_RECORD_LR_CNT：記錄的LR層數，預設3層；每層LR消耗sizeof(void *)位元組數的記憶體。
- LOSCFG_MEM_OMIT_LR_CNT：忽略的LR層數，預設4層，即從呼叫LOS_MemAlloc的函式開始記錄，可根據實際情況調整。為啥需要這個配置？有3點原因如下：
- LOS_MemAlloc介面內部也有函式呼叫；
- 外部可能對LOS_MemAlloc介面有封裝；
- LOSCFG_MEM_RECORD_LR_CNT 配置的LR層數有限；
正確配置這個巨集，將無效的LR層數忽略，就可以記錄有效的LR層數，節省記憶體消耗。
2、開發指導
2.1開發流程
該調測功能可以分析關鍵的程式碼邏輯中是否存在記憶體洩漏。開啟這個功能，每次申請記憶體時，會記錄LR資訊。在需要檢測的程式碼段前後，呼叫LOS_MemUsedNodeShow介面，每次都會列印指定記憶體池已使用的全部節點資訊，對比前後兩次的節點資訊，新增的節點資訊就是疑似洩漏的記憶體節點。通過LR，可以找到具體申請的程式碼位置，進一步確認是否洩漏。
呼叫LOS_MemUsedNodeShow介面輸出的節點資訊格式如下：每1行為一個節點資訊；第1列為節點地址，可以根據這個地址，使用GDB等手段檢視節點完整資訊；第2列為節點的大小，等於節點頭大小+資料域大小；第3~5列為函式呼叫關係LR地址，可以根據這個值，結合彙編檔案，檢視該節點具體申請的位置。
node size LR[0] LR[1] LR[2]
0x10017320: 0x528 0x9b004eba 0x9b004f60 0x9b005002
0x10017848: 0xe0 0x9b02c24e 0x9b02c246 0x9b008ef0
0x10017928: 0x50 0x9b008ed0 0x9b068902 0x9b0687c4
0x10017978: 0x24 0x9b008ed0 0x9b068924 0x9b0687c4
0x1001799c: 0x30 0x9b02c24e 0x9b02c246 0x9b008ef0
0x100179cc: 0x5c 0x9b02c24e 0x9b02c246 0x9b008ef0 注意: 開啟記憶體檢測會影響記憶體申請的效能，且每個記憶體節點都會記錄LR地址，記憶體開銷也加大。
2.2 程式設計例項
本例項實現如下功能：構建記憶體洩漏程式碼段。
- 呼叫LOS_MemUsedNodeShow介面，輸出全部節點資訊列印；
- 申請記憶體，但沒有釋放，模擬記憶體洩漏；
- 再次呼叫LOS_MemUsedNodeShow介面，輸出全部節點資訊列印；
- 將兩次log進行對比，得出洩漏的節點資訊；
- 通過LR地址，找出洩漏的程式碼位置；
2.3 示例程式碼
程式碼實現如下：
#include <stdio.h>
#include <string.h>
#include "los_memory.h"
#include "los_config.h"
void MemLeakTest(void)
{
LOS_MemUsedNodeShow(LOSCFG_SYS_HEAP_ADDR);
void *ptr1 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
void *ptr2 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
LOS_MemUsedNodeShow(LOSCFG_SYS_HEAP_ADDR);
}2.4 結果驗證
編譯執行輸出log如下：
node size LR[0] LR[1] LR[2]
0x20001b04: 0x24 0x08001a10 0x080035ce 0x080028fc
0x20002058: 0x40 0x08002fe8 0x08003626 0x080028fc
0x200022ac: 0x40 0x08000e0c 0x08000e56 0x0800359e
0x20002594: 0x120 0x08000e0c 0x08000e56 0x08000c8a
0x20002aac: 0x56 0x08000e0c 0x08000e56 0x08004220
node size LR[0] LR[1] LR[2]
0x20001b04: 0x24 0x08001a10 0x080035ce 0x080028fc
0x20002058: 0x40 0x08002fe8 0x08003626 0x080028fc
0x200022ac: 0x40 0x08000e0c 0x08000e56 0x0800359e
0x20002594: 0x120 0x08000e0c 0x08000e56 0x08000c8a
0x20002aac: 0x56 0x08000e0c 0x08000e56 0x08004220
0x20003ac4: 0x1d 0x08001458 0x080014e0 0x080041e6
0x20003ae0: 0x1d 0x080041ee 0x08000cc2 0x00000000 對比兩次log，差異如下，這些記憶體節點就是疑似洩漏的記憶體塊：
0x20003ac4: 0x1d 0x08001458 0x080014e0 0x080041e6
0x20003ae0: 0x1d 0x080041ee 0x08000cc2 0x00000000 部分彙編檔案如下:
MemLeakTest:
0x80041d4: 0xb510 PUSH {R4, LR}
0x80041d6: 0x4ca8 LDR.N R4, [PC, #0x2a0] ; g_memStart
0x80041d8: 0x0020 MOVS R0, R4
0x80041da: 0xf7fd 0xf93e BL LOS_MemUsedNodeShow ; 0x800145a
0x80041de: 0x2108 MOVS R1, #8
0x80041e0: 0x0020 MOVS R0, R4
0x80041e2: 0xf7fd 0xfbd9 BL LOS_MemAlloc ; 0x8001998
0x80041e6: 0x2108 MOVS R1, #8
0x80041e8: 0x0020 MOVS R0, R4
0x80041ea: 0xf7fd 0xfbd5 BL LOS_MemAlloc ; 0x8001998
0x80041ee: 0x0020 MOVS R0, R4
0x80041f0: 0xf7fd 0xf933 BL LOS_MemUsedNodeShow ; 0x800145a
0x80041f4: 0xbd10 POP {R4, PC}
0x80041f6: 0x0000 MOVS R0, R0其中，通過查詢0x080041ee，就可以發現該記憶體節點是在MemLeakTest接口裡申請的且是沒有釋放的。
三、踩記憶體檢測機制
踩記憶體檢測機制作為核心的可選功能，用於檢測動態記憶體池的完整性。通過該機制，可以及時發現記憶體池是否發生了踩記憶體問題，並給出錯誤資訊，便於及時發現系統問題，提高問題解決效率，降低問題定位成本。
1、功能配置
LOSCFG_BASE_MEM_NODE_INTEGRITY_CHECK：開關巨集，預設關閉；若開啟這個功能，在target_config.h中將這個巨集定義為1。
- 開啟這個功能，每次申請記憶體，會實時檢測記憶體池的完整性。
- 如果不開啟該功能，也可以呼叫LOS_MemIntegrityCheck介面檢測，但是每次申請記憶體時，不會實時檢測記憶體完整性，而且由於節點頭沒有魔鬼數字（開啟時才有，省記憶體），檢測的準確性也會相應降低，但對於系統的效能沒有影響，故根據實際情況開關該功能。
由於該功能只會檢測出哪個記憶體節點被破壞了，並給出前節點資訊（因為記憶體分佈是連續的，當前節點最有可能被前節點破壞）。如果要進一步確認前節點在哪裡申請的，需開啟記憶體洩漏檢測功能，通過LR記錄，輔助定位。
注意：
開啟該功能，節點頭多了魔鬼數字欄位，會增大節點頭大小。由於實時檢測完整性，故效能影響較大；若效能敏感的場景，可以不開啟該功能，使用LOS_MemIntegrityCheck介面檢測。
2、開發指導
2.1 開發流程
通過呼叫LOS_MemIntegrityCheck介面檢測記憶體池是否發生了踩記憶體，如果沒有踩記憶體問題，那麼介面返回0且沒有log輸出；如果存在踩記憶體問題，那麼會輸出相關log，詳見下文程式設計例項的結果輸出。
2.2 程式設計例項
本例項實現如下功能：
- 申請兩個物理上連續的記憶體塊；
- 通過memset構造越界訪問，踩到下個節點的頭4個位元組；
- 呼叫LOS_MemIntegrityCheck檢測是否發生踩記憶體。
2.3 示例程式碼
程式碼實現如下：
#include <stdio.h>
#include <string.h>
#include "los_memory.h"
#include "los_config.h"
void MemIntegrityTest(void)
{
/* 申請兩個物理連續的記憶體塊 */
void *ptr1 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
void *ptr2 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
/* 第一個節點記憶體塊大小是8位元組，那麼12位元組的清零，會踩到第二個記憶體節點的節點頭，構造踩記憶體場景 */
memset(ptr1, 0, 8 + 4);
LOS_MemIntegrityCheck(LOSCFG_SYS_HEAP_ADDR);
}2.4 結果驗證
編譯執行輸出log如下：
[ERR][OsMemMagicCheckPrint], 2028, memory check error!
memory used but magic num wrong, magic num = 0x00000000 /* 提示資訊，檢測到哪個欄位被破壞了，用例構造了將下個節點的頭4個位元組清零，即魔鬼數字欄位 */
broken node head: 0x20003af0 0x00000000 0x80000020, prev node head: 0x20002ad4 0xabcddcba 0x80000020
/* 被破壞節點和其前節點關鍵欄位資訊，分別為其前節點地址、節點的魔鬼數字、節點的sizeAndFlag；可以看出被破壞節點的魔鬼數字欄位被清零，符合用例場景 */
broken node head LR info: /* 節點的LR資訊需要開啟記憶體檢測功能才有有效輸出 */
LR[0]:0x0800414e
LR[1]:0x08000cc2
LR[2]:0x00000000
pre node head LR info: /* 通過LR資訊，可以在彙編檔案中查詢前節點是哪裡申請，然後排查其使用的準確性 */
LR[0]:0x08004144
LR[1]:0x08000cc2
LR[2]:0x00000000
[ERR]Memory interity check error, cur node: 0x20003b10, pre node: 0x20003af0 /* 被破壞節點和其前節點的地址 */
「其他文章」
- 程式碼重構，真的只有複雜化一條路嗎？
- 解讀分散式排程平臺Airflow在華為雲MRS中的實踐
- 透過例項demo帶你認識gRPC
- 帶你聚焦GaussDB(DWS)儲存時遊標使用
- 傳統到敏捷的轉型中，誰更適合做Scrum Master？
- 輕鬆解決研發知識管理難題
- Java中觀察者模式與委託，還在傻傻分不清
- 如何使用Python實現影象融合及加法運算？
- 什麼是強化學習？
- 探索開源工作流引擎Azkaban在MRS中的實踐
- GaussDB(DWS) NOT IN優化技術解密：排他分析場景400倍效能提升
- Java中觀察者模式與委託，還在傻傻分不清
- Java中的執行緒到底有哪些安全策略
- 一圖詳解java-class類檔案原理
- Java中的執行緒到底有哪些安全策略
- 擺平各類目標檢測識別AI應用，有它就夠了！
- KeyDB重量釋出6.3.0開源版，華為深度參與貢獻
- 如何使用Tomcat實現WebSocket即時通訊服務服務端
- GaussDB(for Influx)與開源企業版效能對比
- 一文詳述DMS資源池佇列阻塞告警及原理