鴻蒙輕核心的得力助手:帶你掌握4種記憶體除錯方法
摘要:記憶體調測方法旨在輔助定位動態記憶體相關問題,提供了記憶體池資訊統計、記憶體洩漏檢測和踩記憶體檢測三種調測手段。
本文分享自華為雲社群《鴻蒙輕核心-記憶體調測-記憶體資訊統計》,作者:zhushy 。
記憶體調測方法旨在輔助定位動態記憶體相關問題,提供了基礎的動態記憶體池資訊統計手段,向用戶呈現記憶體池水線、碎片率等資訊;提供了記憶體洩漏檢測手段,方便使用者準確定位存在記憶體洩漏的程式碼行,也可以輔助分析系統各個模組記憶體的使用情況;提供了踩記憶體檢測手段,可以輔助定位越界踩記憶體的場景。
一、記憶體資訊統計
記憶體資訊包括記憶體池大小、記憶體使用量、剩餘記憶體大小、最大空閒記憶體、記憶體水線、記憶體節點數統計、碎片率等。
- 記憶體水線:即記憶體池的最大使用量,每次申請和釋放時,都會更新水線值,實際業務可根據該值,優化記憶體池大小;
- 碎片率:衡量記憶體池的碎片化程度,碎片率高表現為記憶體池剩餘記憶體很多,但是最大空閒記憶體塊很小,可以用公式(fragment=100-最大空閒記憶體塊大小/剩餘記憶體大小)來度量;
- 其他引數:通過記憶體管理模組的呼叫介面,掃描記憶體池的節點資訊,統計出相關資訊。
1、功能配置
LOSCFG_MEM_WATERLINE:開關巨集,預設開啟;若關閉這個功能,在target_config.h中將這個巨集定義為0。如需獲取記憶體水線,需要開啟該配置。
2、開發指導
關鍵結構體介紹:
typedef struct {
UINT32 totalUsedSize; // 記憶體池的記憶體使用量
UINT32 totalFreeSize; // 記憶體池的剩餘記憶體大小
UINT32 maxFreeNodeSize; // 記憶體池的最大空閒記憶體塊大小
UINT32 usedNodeNum; // 記憶體池的非空閒記憶體塊個數
UINT32 freeNodeNum; // 記憶體池的空閒記憶體塊個數
#if (LOSCFG_MEM_WATERLINE == 1) // 預設開啟,如需關閉,在target_config.h中將該巨集設定為0
UINT32 usageWaterLine; // 記憶體池的水線值
#endif
} LOS_MEM_POOL_STATUS;
- 記憶體水線獲取
呼叫LOS_MemInfoGet介面,第1個引數是記憶體池首地址,第2個引數是LOS_MEM_POOL_STATUS型別的控制代碼,其中欄位usageWaterLine即水線值。 - 記憶體碎片率計算
同樣呼叫LOS_MemInfoGet介面,可以獲取記憶體池的剩餘記憶體大小和最大空閒記憶體塊大小,然後根據公式(fragment=100-最大空閒記憶體塊大小/剩餘記憶體大小)得出此時的動態記憶體池碎片率。
3、程式設計例項
本例項實現如下功能:
- 1.建立一個監控執行緒,用於獲取記憶體池的資訊;
- 2.呼叫LOS_MemInfoGet介面,獲取記憶體池的基礎資訊;
- 3.利用公式算出使用率及碎片率。
程式碼實現如下:
#include <stdio.h>
#include <string.h>
#include "los_task.h"
#include "los_memory.h"
#include "los_config.h"
void MemInfoTaskFunc(void)
{
LOS_MEM_POOL_STATUS poolStatus = {0};
LOS_MemInfoGet(m_aucSysMem0, &poolStatus);
/* 算出記憶體池當前的碎片率百分比 */
unsigned char fragment = 100 - poolStatus.maxFreeNodeSize * 100 / poolStatus.totalFreeSize;
/* 算出記憶體池當前的使用率百分比 */
unsigned char usage = LOS_MemTotalUsedGet(m_aucSysMem0) * 100 / LOS_MemPoolSizeGet(m_aucSysMem0);
printf("usage = %d, fragment = %d, maxFreeSize = %d, totalFreeSize = %d, waterLine = %d\n", usage, fragment, poolStatus.maxFreeNodeSize,
poolStatus.totalFreeSize, poolStatus.usageWaterLine);
}
int MemTest(void)
{
unsigned int ret;
unsigned int taskID;
TSK_INIT_PARAM_S taskStatus = {0};
taskStatus.pfnTaskEntry = (TSK_ENTRY_FUNC)MemInfoTaskFunc;
taskStatus.uwStackSize = 0x1000;
taskStatus.pcName = "memInfo";
taskStatus.usTaskPrio = 10;
ret = LOS_TaskCreate(&taskID, &taskStatus);
if (ret != LOS_OK) {
printf("task create failed\n");
return -1;
}
return 0;
}
編譯執行輸出的結果如下:
usage = 22, fragment = 3, maxFreeSize = 49056, totalFreeSize = 50132, waterLine = 1414
二、記憶體洩漏檢測機制
記憶體洩漏檢測機制作為核心的可選功能,用於輔助定位動態記憶體洩漏問題。開啟該功能,動態記憶體機制會自動記錄申請記憶體時的函式呼叫關係(下文簡稱LR)。如果出現洩漏,就可以利用這些記錄的資訊,找到記憶體申請的地方,方便進一步確認。
1、功能配置
- LOSCFG_MEM_LEAKCHECK:開關巨集,預設關閉;若開啟這個功能,在target_config.h中將這個巨集定義為1。
- LOSCFG_MEM_RECORD_LR_CNT:記錄的LR層數,預設3層;每層LR消耗sizeof(void *)位元組數的記憶體。
- LOSCFG_MEM_OMIT_LR_CNT:忽略的LR層數,預設4層,即從呼叫LOS_MemAlloc的函式開始記錄,可根據實際情況調整。為啥需要這個配置?有3點原因如下:
- LOS_MemAlloc介面內部也有函式呼叫;
- 外部可能對LOS_MemAlloc介面有封裝;
- LOSCFG_MEM_RECORD_LR_CNT 配置的LR層數有限;
正確配置這個巨集,將無效的LR層數忽略,就可以記錄有效的LR層數,節省記憶體消耗。
2、開發指導
2.1開發流程
該調測功能可以分析關鍵的程式碼邏輯中是否存在記憶體洩漏。開啟這個功能,每次申請記憶體時,會記錄LR資訊。在需要檢測的程式碼段前後,呼叫LOS_MemUsedNodeShow介面,每次都會列印指定記憶體池已使用的全部節點資訊,對比前後兩次的節點資訊,新增的節點資訊就是疑似洩漏的記憶體節點。通過LR,可以找到具體申請的程式碼位置,進一步確認是否洩漏。
呼叫LOS_MemUsedNodeShow介面輸出的節點資訊格式如下:每1行為一個節點資訊;第1列為節點地址,可以根據這個地址,使用GDB等手段檢視節點完整資訊;第2列為節點的大小,等於節點頭大小+資料域大小;第3~5列為函式呼叫關係LR地址,可以根據這個值,結合彙編檔案,檢視該節點具體申請的位置。
node size LR[0] LR[1] LR[2]
0x10017320: 0x528 0x9b004eba 0x9b004f60 0x9b005002
0x10017848: 0xe0 0x9b02c24e 0x9b02c246 0x9b008ef0
0x10017928: 0x50 0x9b008ed0 0x9b068902 0x9b0687c4
0x10017978: 0x24 0x9b008ed0 0x9b068924 0x9b0687c4
0x1001799c: 0x30 0x9b02c24e 0x9b02c246 0x9b008ef0
0x100179cc: 0x5c 0x9b02c24e 0x9b02c246 0x9b008ef0
注意: 開啟記憶體檢測會影響記憶體申請的效能,且每個記憶體節點都會記錄LR地址,記憶體開銷也加大。
2.2 程式設計例項
本例項實現如下功能:構建記憶體洩漏程式碼段。
- 呼叫LOS_MemUsedNodeShow介面,輸出全部節點資訊列印;
- 申請記憶體,但沒有釋放,模擬記憶體洩漏;
- 再次呼叫LOS_MemUsedNodeShow介面,輸出全部節點資訊列印;
- 將兩次log進行對比,得出洩漏的節點資訊;
- 通過LR地址,找出洩漏的程式碼位置;
2.3 示例程式碼
程式碼實現如下:
#include <stdio.h>
#include <string.h>
#include "los_memory.h"
#include "los_config.h"
void MemLeakTest(void)
{
LOS_MemUsedNodeShow(LOSCFG_SYS_HEAP_ADDR);
void *ptr1 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
void *ptr2 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
LOS_MemUsedNodeShow(LOSCFG_SYS_HEAP_ADDR);
}
2.4 結果驗證
編譯執行輸出log如下:
node size LR[0] LR[1] LR[2]
0x20001b04: 0x24 0x08001a10 0x080035ce 0x080028fc
0x20002058: 0x40 0x08002fe8 0x08003626 0x080028fc
0x200022ac: 0x40 0x08000e0c 0x08000e56 0x0800359e
0x20002594: 0x120 0x08000e0c 0x08000e56 0x08000c8a
0x20002aac: 0x56 0x08000e0c 0x08000e56 0x08004220
node size LR[0] LR[1] LR[2]
0x20001b04: 0x24 0x08001a10 0x080035ce 0x080028fc
0x20002058: 0x40 0x08002fe8 0x08003626 0x080028fc
0x200022ac: 0x40 0x08000e0c 0x08000e56 0x0800359e
0x20002594: 0x120 0x08000e0c 0x08000e56 0x08000c8a
0x20002aac: 0x56 0x08000e0c 0x08000e56 0x08004220
0x20003ac4: 0x1d 0x08001458 0x080014e0 0x080041e6
0x20003ae0: 0x1d 0x080041ee 0x08000cc2 0x00000000
對比兩次log,差異如下,這些記憶體節點就是疑似洩漏的記憶體塊:
0x20003ac4: 0x1d 0x08001458 0x080014e0 0x080041e6
0x20003ae0: 0x1d 0x080041ee 0x08000cc2 0x00000000
部分彙編檔案如下:
MemLeakTest:
0x80041d4: 0xb510 PUSH {R4, LR}
0x80041d6: 0x4ca8 LDR.N R4, [PC, #0x2a0] ; g_memStart
0x80041d8: 0x0020 MOVS R0, R4
0x80041da: 0xf7fd 0xf93e BL LOS_MemUsedNodeShow ; 0x800145a
0x80041de: 0x2108 MOVS R1, #8
0x80041e0: 0x0020 MOVS R0, R4
0x80041e2: 0xf7fd 0xfbd9 BL LOS_MemAlloc ; 0x8001998
0x80041e6: 0x2108 MOVS R1, #8
0x80041e8: 0x0020 MOVS R0, R4
0x80041ea: 0xf7fd 0xfbd5 BL LOS_MemAlloc ; 0x8001998
0x80041ee: 0x0020 MOVS R0, R4
0x80041f0: 0xf7fd 0xf933 BL LOS_MemUsedNodeShow ; 0x800145a
0x80041f4: 0xbd10 POP {R4, PC}
0x80041f6: 0x0000 MOVS R0, R0
其中,通過查詢0x080041ee,就可以發現該記憶體節點是在MemLeakTest接口裡申請的且是沒有釋放的。
三、踩記憶體檢測機制
踩記憶體檢測機制作為核心的可選功能,用於檢測動態記憶體池的完整性。通過該機制,可以及時發現記憶體池是否發生了踩記憶體問題,並給出錯誤資訊,便於及時發現系統問題,提高問題解決效率,降低問題定位成本。
1、功能配置
LOSCFG_BASE_MEM_NODE_INTEGRITY_CHECK:開關巨集,預設關閉;若開啟這個功能,在target_config.h中將這個巨集定義為1。
- 開啟這個功能,每次申請記憶體,會實時檢測記憶體池的完整性。
- 如果不開啟該功能,也可以呼叫LOS_MemIntegrityCheck介面檢測,但是每次申請記憶體時,不會實時檢測記憶體完整性,而且由於節點頭沒有魔鬼數字(開啟時才有,省記憶體),檢測的準確性也會相應降低,但對於系統的效能沒有影響,故根據實際情況開關該功能。
由於該功能只會檢測出哪個記憶體節點被破壞了,並給出前節點資訊(因為記憶體分佈是連續的,當前節點最有可能被前節點破壞)。如果要進一步確認前節點在哪裡申請的,需開啟記憶體洩漏檢測功能,通過LR記錄,輔助定位。
注意:
開啟該功能,節點頭多了魔鬼數字欄位,會增大節點頭大小。由於實時檢測完整性,故效能影響較大;若效能敏感的場景,可以不開啟該功能,使用LOS_MemIntegrityCheck介面檢測。
2、開發指導
2.1 開發流程
通過呼叫LOS_MemIntegrityCheck介面檢測記憶體池是否發生了踩記憶體,如果沒有踩記憶體問題,那麼介面返回0且沒有log輸出;如果存在踩記憶體問題,那麼會輸出相關log,詳見下文程式設計例項的結果輸出。
2.2 程式設計例項
本例項實現如下功能:
- 申請兩個物理上連續的記憶體塊;
- 通過memset構造越界訪問,踩到下個節點的頭4個位元組;
- 呼叫LOS_MemIntegrityCheck檢測是否發生踩記憶體。
2.3 示例程式碼
程式碼實現如下:
#include <stdio.h>
#include <string.h>
#include "los_memory.h"
#include "los_config.h"
void MemIntegrityTest(void)
{
/* 申請兩個物理連續的記憶體塊 */
void *ptr1 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
void *ptr2 = LOS_MemAlloc(LOSCFG_SYS_HEAP_ADDR, 8);
/* 第一個節點記憶體塊大小是8位元組,那麼12位元組的清零,會踩到第二個記憶體節點的節點頭,構造踩記憶體場景 */
memset(ptr1, 0, 8 + 4);
LOS_MemIntegrityCheck(LOSCFG_SYS_HEAP_ADDR);
}
2.4 結果驗證
編譯執行輸出log如下:
[ERR][OsMemMagicCheckPrint], 2028, memory check error!
memory used but magic num wrong, magic num = 0x00000000 /* 提示資訊,檢測到哪個欄位被破壞了,用例構造了將下個節點的頭4個位元組清零,即魔鬼數字欄位 */
broken node head: 0x20003af0 0x00000000 0x80000020, prev node head: 0x20002ad4 0xabcddcba 0x80000020
/* 被破壞節點和其前節點關鍵欄位資訊,分別為其前節點地址、節點的魔鬼數字、節點的sizeAndFlag;可以看出被破壞節點的魔鬼數字欄位被清零,符合用例場景 */
broken node head LR info: /* 節點的LR資訊需要開啟記憶體檢測功能才有有效輸出 */
LR[0]:0x0800414e
LR[1]:0x08000cc2
LR[2]:0x00000000
pre node head LR info: /* 通過LR資訊,可以在彙編檔案中查詢前節點是哪裡申請,然後排查其使用的準確性 */
LR[0]:0x08004144
LR[1]:0x08000cc2
LR[2]:0x00000000
[ERR]Memory interity check error, cur node: 0x20003b10, pre node: 0x20003af0 /* 被破壞節點和其前節點的地址 */
- 程式碼重構,真的只有複雜化一條路嗎?
- 解讀分散式排程平臺Airflow在華為雲MRS中的實踐
- 透過例項demo帶你認識gRPC
- 帶你聚焦GaussDB(DWS)儲存時遊標使用
- 傳統到敏捷的轉型中,誰更適合做Scrum Master?
- 輕鬆解決研發知識管理難題
- Java中觀察者模式與委託,還在傻傻分不清
- 如何使用Python實現影象融合及加法運算?
- 什麼是強化學習?
- 探索開源工作流引擎Azkaban在MRS中的實踐
- GaussDB(DWS) NOT IN優化技術解密:排他分析場景400倍效能提升
- Java中觀察者模式與委託,還在傻傻分不清
- Java中的執行緒到底有哪些安全策略
- 一圖詳解java-class類檔案原理
- Java中的執行緒到底有哪些安全策略
- 擺平各類目標檢測識別AI應用,有它就夠了!
- KeyDB重量釋出6.3.0開源版,華為深度參與貢獻
- 如何使用Tomcat實現WebSocket即時通訊服務服務端
- GaussDB(for Influx)與開源企業版效能對比
- 一文詳述DMS資源池佇列阻塞告警及原理