在低代碼開發平台 ILLA Cloud 中使用 Hugging Face 上的模型

語言: CN / TW / HK

用 AI 模型創造更多可能,邀請你在 ILLA Cloud 平台裏使用 Hugging Face!

ILLA Cloud 是一個面向開發者的開源低代碼開發平台,平台專注於幫助開發者快速建立企業內部應用,為開發者節約數據調用與頁面設計的時間。平台具有面向開發者、數據整合、協同開發、靈活部署等功能與特點,通過少量代碼輸入以及拖拉拽等形式搭建此類定製化系統,降低開發者、工程師的研發成本。

今天,我們正式與 ILLA Cloud 共同宣佈這個新的合作: ILLA Cloud 已經正式支持集成 Hugging Face Hub 上的 AI 模型庫和其他相關功能啦!

我們希望通過此次合作共同推進 AIGC / Generative AI 在生產力工具領域的實踐和落地,幫助更多團隊通過 AI 提升工作效率,以節省更多的時間和精力去應對更具有挑戰的工作。從今天開始,你就可以在 ILLA Cloud 中體驗 AI 啦!

ILLA x Hugging Face

在 Hugging Face 中,有超過 13 萬個機器學習模型可以通過公開的 API 訪問,你可以免費使用、測試這些 API。此外,如果你需要用於生產場景,可以使用 Hugging Face 提供的解決方案 Endpoints,部署並使用 Inference Endpoints 訪問。

ILLA Cloud 提供了數十種常用的前端組件,支持根據實際需求快速搭建不同的前端界面。同時,ILLA Cloud 也提供了連接到 Hugging Face 的連接方式,可以快速連接到 Hugging Face API,發起請求並拿到返回數據。將 API 和前端組件連接,即可實現用户通過前端填入內容並提交給 API,API 返回生成內容並展示到前端的需求。

在 ILLA Cloud 中使用 Hugging Face

步驟 1: 在 ILLA Cloud 中使用組件構建 UI

我們先來基於我們期望的使用場景搭建前端界面。 例如,如果你的產品是輸入文字、輸出生成圖,那你可以使用輸入組件和圖片組件;如果你的產品是輸入文字、輸出生成也是文字,那你可以使用輸入組件或文本組件。

下圖是一個基於文本內容做問答的應用界面:

步驟 2: 創建一個 Hugging Face 資源,並配置 Action

點擊 Action 列表的「+ 新建」並選擇 Hugging Face Inference API:

通過完成下述表單,配置 Hugging Face 資源:

  • 名稱: 由你自定義的該資源在 ILLA Cloud 中顯示的名稱;
  • Token: 註冊並登錄 Hugging Face,點擊右上角頭像,通過 Profile Settings 下的 Access Tokens 頁面新建並獲取 Token 填入: http://hf.co/settings/tokens

接下來我們配置 Action。首先是確認 Hugging Face 中模型的連接信息,你需要前往 Hugging Face Hub 頁面,按需選擇模型: http://hf.co/models

本文我們以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large 模型為例,進入模型的詳情頁,點擊右上方 Deploy,並選擇 Inference API: http://hf.co/luhua/chinese_pretrain_mrc_roberta_wwm_ext_large

這裏在 inputs 參數後面的內容,就是你需要在 ILLA Cloud 中配置的參數內容:

接下來回到 ILLA Cloud 的 Action 配置,需要填入 Model ID 和 Parameter。對於上圖的 Model 輸入是多個鍵值對的場景,我們提供了鍵值對輸入和 JSON 輸入兩種方式,如下圖:

此外,ILLA Cloud 還支持輸入文本和二進制文件,能夠滿足 Hugging Face 中現存模型的需求。

步驟 3: 連接 Action 和組件

將用户前端輸入傳給 API 的需求: 使用 {{ 獲取組件裏輸入的數據,如 input2 組件用於輸入 questioninput1 組件用於輸入 context ,只需要在 Action 中這兩個參數值的位置,填入相關信息即可。下面是使用 JSON 的示例代碼:

{"question": {{input2.value}},"context": {{input1.value}}}

接下來,我們要在前端組件中展示 Action 的輸出數據。

我們需要確認不同模型的輸出放在哪個字段,仍以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large 模型為例,運行結果如下:

因此這裏我們可以用 {{ textQuestion.data[0].answer }} 來獲取答案 (其中,textQuestion 是 Action 的名稱),將 {{ textQuestion.data[0].answer }} 填入用於展示結果的組件的屬性配置即可:

大功告成!

以上就是使用 ILLA Cloud 集成 Hugging Face 上的模型快速構建一個智能問答機器人的應用界面。在公司內部使用的場景下,還可以通過類似的模型解決很多具體場景的問題,比如內部資料通過模型訓練之後的問答客服,隨着不同的內容輸入,也可以應用在更多場景。另外,Hungging Face 上還有很多有趣的模型,通過 ILLA Cloud 的調用可以快速地實現一些有趣的功能,比如在極短的時間構建類似 Lite 版本的 ChatGPT 或者圖像生成內容的應用等。

如果你做了哪些有趣的、幫助通過 AI 提升團隊效率的應用,歡迎你通過留言的方式告訴我們,我們已經迫不及待地看到你使用 ILLA Cloud 和 Hugging Face 構建的應用啦!

即刻體驗 ILLA Cloud: http://www.illacloud.com/