搞AI開發,你不得不會的PyCharm技術
摘要:PyCharm在AI專案開發提供了優秀的程式碼編輯、除錯、遠端連線和同步能力,在開發者中廣受歡迎。
使用PyCharm外掛配合ModelArts:
- 一鍵幫助使用者配置遠端ModelArts Notebook,免去使用者手工配置
- 按需使用Notebook資源,啟動停止,隨心所欲
- 原生代碼提交至ModelArts訓練任務,沉浸式AI開發體驗
ModelArts是華為雲一站式AI開發平臺,“一站式”是指AI開發的各個環節,包括資料處理、演算法開發、模型訓練、模型部署都可以在ModelArts上完成。從技術上看,ModelArts底層支援各種異構計算資源,開發者可以根據需要靈活選擇使用,而不需要關心底層的技術。同時,ModelArts支援Tensorflow、PyTorch、MindSpore等主流開源的AI開發框架,也支援開發者使用自研的演算法框架,匹配您的使用習慣。
AI模型開發的過程,稱之為Modeling,一般包含兩個階段:
- 開發階段:準備並配置環境,除錯程式碼,使程式碼能夠開始進行深度學習訓練,推薦在ModelArts開發環境中除錯。
- 實驗階段:調整資料集、調整超參等,通過多輪實驗,訓練出理想的模型,推薦在ModelArts訓練中進行實驗。
兩個過程可以相互轉換。如開發階段程式碼穩定後,則會進入實驗階段,通過不斷嘗試調整超參來迭代模型;或在實驗階段,有一個可以優化訓練的效能的想法,則會回到開發階段,重新優化程式碼
1. 實操體驗 How to Use
1.1 外掛安裝和登入
1.1.1 外掛安裝
選擇File>Settings>Plugins,在Marketplace裡搜尋“ModelArts”,點選Install即可完成安裝。
1.1.2 外掛登入
安裝完外掛後,會在IDE選單欄出現ModelArts,點選後選擇Edit Credential,出現如下頁面
點選外掛的How to get AK/SK,跳轉到華為雲文件去按照指導獲取AK/SK,把AK/SK填入登入框中,點選OK,即可完成登入。
1.2 訓練程式碼和資料準備
在本部落格中,通過附件進行下載獲取。
獲取完程式碼和資料中,需要把訓練資料上傳至OBS中,為下一步提交訓練作業做好準備。
進入到OBS控制檯中,如果沒有OBS桶,需要建立一個,如果已有桶,在該桶下新建一個data資料夾,把已下載好的訓練資料上傳至該OBS資料夾中。
和data資料夾同級,建立一個job資料夾,用來存放提交的訓練作業。
首先獲取OBS桶地址,在網頁端進行點選獲取,地址類似為obs://3xdata
通過拼接獲取到data和job資料夾OBS地址分別為:
data:obs://3xdata/data/
job:obs://3xdata/job/
1.3 提交訓練作業
通過PyCharm把下載好的訓練檔案開啟,點選外掛的Training Job進行訓練作業提交
在開啟的頁面中,選擇和填入如下引數:
- Engine必須選擇tensorflow_2.1.0
- 啟動檔案和目錄必須位於當前開啟專案
- OBS Path為上一步獲得地址
- Specifications可以選擇免費規格或者CPU/GPU規格
填寫無誤後,點選Apply and Run, 等待訓練作業執行完成即可看到如下圖日誌輸出
點選日誌中的網站連結地址,可以在網頁端看當訓練作業相關詳情,完成網頁端資訊截圖即可
恭喜大家,至此,我們的在ModelArts上進行模型開發的體驗就順利完成了。
2. 更多探索 Learn More
如果擁有PyCharm專業版,還可以體驗更多豐富功能,使用Notebook進行開發除錯後,再進行訓練作業提交,可以參考http://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html
本文作者小馬老師將在10月11日直播詳細介紹【試駕PyCharm“混動”AI開發初體驗】,歡迎各位點選此處參與。
- 一文講盡Thread類的原始碼精髓
- 手把手教大家寫書寫一個Mqtt閘道器
- 總結了6種卷積神經網路壓縮方法
- 雲小課|手把手教您在PyCharm中連線雲端資源進行程式碼除錯
- 程式碼例項解讀如何安全釋出物件
- 過年回去,終於給老人講清楚兩臺電腦是如何通訊的
- 震網(Stuxnet)病毒深度解析:首個攻擊真實世界基礎設施的病毒
- 跟我學Python影象處理丨帶你入門OpenGL
- 跨域:後端工程師最熟悉的陌生“人”
- 當你輸入網址,小手一點,然後發生了什麼?
- 【帶你讀論文】向量表徵經典之DeepWalk
- 為什麼網路I/O會被阻塞?
- 智慧流程機器人助你“聚划算”
- 可以一學的程式碼優化小技巧:減少if-else冗餘
- 聊聊Cookie、Session、Token 背後的故事
- 不懂任務排程系統,快來看這篇
- 基於隨機森林演算法進行硬碟故障預測
- 教你如何解決T 0的問題
- 高併發環境下構建快取服務,你需要注意這6點
- cookie、session,、token,還在傻傻分不清?