中臺整合零售:騰訊電商業務中臺的 Serverless 架構升級

語言: CN / TW / HK

零售領域變革不是一個新話題,從電商到 O2O ,從無人售貨櫃到機器人導購,騰訊雲的嘗試一直未曾止步。對於傳統零售企業來說,通過資料中臺可以讓顧客與需求更好地匹配,同時實現平臺上多觸點獲取流量。而技術中臺,則可以幫助零售企業提升整體運營效率,在提高安全性的基礎上,還能享受 AI 時代帶來的智慧化紅利。

談及騰訊電商業務中臺,騰訊雲應用與服務編排工作流 ASW 的專案負責人王子一認為,“以消費者為中心,實現上下游的產業協同,賦能商家,商家一次接入後,可應用於如下全部業務場景: 檢索業務、廣告業務、智慧廣告投放、商品的下游資料需求等等,為海量資料的儲存和計算提供更穩定安全的高效能中臺”。

01.

中臺整合零售 共建經濟共同體

電商業務中臺解決方案提供流程驅動業務中臺和資料中臺的雙中臺管理,實現商品、庫存、會員等全渠道業務資料的實時線上,進而提高運營效率和庫存週轉率,助力業務快速增長。通過整合上下游資源全域性優化重構產業鏈條,加速數字化轉型升級。

以騰訊雲電商業務中臺為例,基於雲原生打造的高可用、可擴充套件、靈活配置的商品處理引擎,提供不同行業商家的商品錄入,商品資訊統一加工,商品資訊分發等能力。              

(ASW 和 SCF 在騰訊雲電商業務中臺的應用) 

騰訊雲電商業務中臺抽象出商品加工的通用能力,自建出一套可複用元件市場,例如圖片處理、自然語言處理、商品資訊處理等。商品中臺支援商家商品統一接入、商品基於自建的元件市場進行商品加工、基於 ASW 工作流搭建定製化配置加工元件、統一儲存的商品資料通過商品分發模組進行統一分發。

02.

ASW 商品加工編排設計 

騰訊雲電商業務中臺依賴騰訊雲 ASW 排程平臺進行流程配置和管理。應用與服務編排工作流(Application Services Workflow,ASW)是一個用來協調分散式任務執行的編排產品,根據騰訊雲狀態機語言定義來編排分散式任務和服務,工作流會按照設定好的順序可靠地協調執行,將雲函式與多個騰訊雲服務按步驟進行排程,通過低程式碼配置,即可完成開發和執行業務流程所需要的任務協調、狀態管理以及錯誤處理等繁瑣工作,讓研發團隊能更簡單、更高效的構建與管理工作流應用。

  • 使用 ASW 併發呼叫函式

通過工作流並行呼叫雲函式,將多個批量計算分散式作業串聯或並行編排,大大提高任務處理的吞吐量,可靠地支援執行時間長、併發量大的大規模計算。

( ASW 工作流與傳統工作流的對比 )

目前 ASW 支援騰訊雲 API 3.0上超過99%的介面,支援高併發場景。同時,ASW工作流原生 支援雲日誌CLS、雲監控CMS、雲告警等成熟雲上服務,在可觀測性方面做到業界領先。

ASW 工作流優勢:

彈性高併發: 工作流併發呼叫雲函式可以快速調動大量計算資源加速資料處理。

自定義流程: ASW 工 作流可以實現高度自定義的工作流流程,例如資料處理流程、資料分析演算法、資料儲存方式。

降低成本: 資料處理是 CPU 密集型任務,在 ASW 工作流及雲函式的資源利用率高的情況下,實現了成本的降低。

提升效率: 降低學習和使用成本,極大程度上縮短了專案週期,加快開發部署。

  • 使用 ASW 並行多工處理

在資料處理、多媒體檔案處理、商品稽核、容器運維管理等系統架構中,往往需要並行多路任務處理的場景 。 例如電商商品稽核系統,商家每天對商品進行管理更新後,商品資料需要通過商品中臺進行一系列的稽核操作: 如圖片稽核、死鏈檢測、商品打標、文字稽核、統一類目 等環節。 海量更新的商品資料會先投遞到 Ckafka,商品中臺需要一個能快速處理大量資料,高併發、高吞吐量的資料處理流水線。

在資料處理流水線中,ASW 工作流的併發能力主要依賴於 Parallel 節點與 Map 節點。

( ASW 訂單資料處理流程示意圖)

  • Parallel 節點,也稱並行節點:使用該節點可以在工作流中建立並行的任務分支,讓多個任務並行執行,大大提升了業務資料處理的效率。

  • Map 節點,也稱迴圈節點:使用該節點對陣列中的每一個元素任務計算,且這些元素計算可以併發執行,大大提升了資料處理的吞吐量。

03.

 ASW + 雲函式 提高交付效率

業界常見的雲服務編排鬚要開發者寫狀態機表示式,開發人員要花大量精力解決元件間的程式碼邏輯,需要有較強的程式碼基礎,開發難度較大。

通過 ASW + 雲函式作為粘合劑,可快速搭建一個高效可用、易擴充套件性的微服務架構應用。ASW 憑藉雲平臺和雲函式的特性,可以輕鬆地無限擴充套件,具備相容公有云、自建服務的融合能力 。ASW 預置了常見的利用模板,一鍵部署,開箱即用,極大地簡化了開發複雜度。

(業務中臺通用能力排程編排)

隨著電商業務的高速發展,業務架構越來越複雜,通過建立業務中臺的方式來支援前後臺業務的快速迭代發展已成為必然選擇。面對不同零售行業、不同應用渠道的商品加工邏輯差異,如何做到既跟上業務小步快跑的迭代速度和效率要求,又同時能夠滿足業務人員自主管控和自定義加工流程——已成為當前的熱門話題和技術挑戰之一。而騰訊電商業務中臺的雲原生技術架構設計,恰恰在當前最合適的時機,做了降本增效的前沿探索,為同類架構設計提供了借鑑和鋪路,為大家拓展了更多的架構設計選擇。

04.

場景拓展:電商零售場景中 Serverless 應用

1.電商大促等波峰波谷型業務

每年雙 11、618 等電商大促期間,零售行業線上渠道面臨歷史級別的流量挑戰,中大型電商平臺的峰值呼叫量可達上千萬/分鐘,面臨高於日常 10-20 倍的流量壓力。日常運營活動中,例如精品秒殺、限時搶購等,電商平臺也同樣面臨大流量高併發、波峰波谷使用者流量明顯分化的典型場景。雲函式 SCF 提供彈性、可擴充套件的基礎設施和護航服務,幫助電商客戶把握業務增長的機遇,從容應對挑戰。  

       

(電商彈性大促架構圖)

  • 瞬時冷啟動

雲函式 SCF 底層採用自研的輕量級虛擬化技術,Micro Vm 啟動時間短至 90 毫秒,函式 冷啟動減低至 200 毫秒,並且支援上萬臺計算節點同時擴容。

  • 實時擴縮容

基於函式請求實時計算的模式,動態的擴縮函式例項,優化函式冷啟動的體驗問題,以及控制函式計算的資源成本 。

  • 預置併發

在秒殺、搶購等場景中,瞬間需要海量的計算資源。雲函式預置併發,可支援併發例項按配置預先啟動,提前“預熱”函式,為業務高峰提前準備計算資源,消除冷啟動、降低執行環境初始化及業務程式碼初始化引起的耗時。

2. 靜態站點

直播帶貨已成為線上零售平臺的標配功能。電商直播中,需要專業、穩定的直播推流、轉碼、分發、播放等服務,滿足超低延遲、超高畫質、超大併發訪問量的要求。在直播結束後,通常需要對回播影片 進行處理,例如音影片轉碼混流、回播影片二次分發和儲存等。相較於自建轉碼伺服器,雲函式 SCF 無需考慮轉碼伺服器閒置時間的利用效率、以及伺服器運維等問題。

(雲函式電商直播方案)

  • 平滑遷移快速上線

支援使用者自定義配置 FFmpeg 命令引數、以及部署自建 FFmpeg,轉碼方式靈活,也可以便捷地從物理機、雲主機或容器中移植到雲函式。

  • 解決算力瓶頸

大規格例項最高支援 128GB/64C 進行 4K 高清影片轉碼,結合資源彈性伸縮能力,有效保證轉碼效率。

  • 按量計費成本優勢

影片轉碼是高運算負荷的 CPU 密集型業務,需要對輸入的影片流進行全解碼、影片過濾/影象處理、並對輸出格式進行全編碼。雲函式的1毫秒粒度按用量計費,擁有顯著的成本優勢。

3.智慧圖片處理等事件驅動型業務

在電商平臺上,每天都會有大量商品圖片的查詢請求和更新請求。高峰情況下,每天有千萬級甚至億級的圖片處理需求。傳統方案需要搭建一個線上伺服器並部署 Web 應用來進行圖片處理,程式按照一定規則定時觸發事件。

在傳統方案中,主要有三個困擾:

  • 沒有請求時,空置率較高;

  • 需要專門維護一套執行處理程式碼;

  • 需要考慮併發和定時器的執行方法,來保障圖片處理的及時性。

而在 Serverless 架構中,雲函式 SCF 提供圖片裁剪、增加水印等多種處理能力,滿足電商業務的圖片處理訴求。同時針對圖片處理、儲存的高可用要求,可以支援物件儲存的跨區域高可用部署。

(雲函式影象處理方案)

使用者僅需要在雲函式 SCF 上設定觸發器 + 函式,當用戶把圖片上傳到物件儲存中,將會觸發函式程式碼進行圖片處理,並把圖片轉移到新的儲存桶中。 整個過程,不需要搭建 Web 伺服器,無需編寫觸發條件,也無需關注業務運維。

一站式方案諮詢

識別下方二維碼完成資訊填寫,我們將為您提供 1v1 業務技術交流,提供適合的 Serverless 解決方案。

推薦閱讀

One More Thing

掃碼新增小助手,加入 Serverless 使用者福利群,領取紅包封面。

  • 雲函式官網:http://cloud.tencent.com/product/scf?from=15939

  • 事件匯流排官網:http://cloud.tencent.com/product/eb?from=15940

點選 「閱讀原文」  ,檢視更多客戶案例。