InfoQ 2022 年趨勢報告:DevOps 與雲端計算篇

語言: CN / TW / HK

本文總結了我們 2022 年對“雲端計算和 DevOps”領域的一些看法,其重點是基本的基礎設施和操作模式、模式在技術框架中的實現,以及軟體架構師或工程師必須掌握的設計流程和技能。

InfoQ 和 QCon 系列會議都會關注那些技術擴散階段屬於“創新者、早期採用者和早期多數階段 ”的主題,正如 Geoffrey Moore 在《跨越鴻溝》一書中定義的那樣。我們試圖找出符合摩爾所謂的早期市場的想法,即“客戶群是由技術愛好者和有遠見的人組成,他們希望在一個機會或一個迫在眉睫的問題上取得領先”。我們也在尋找那些有可能“跨越鴻溝”而被更廣泛採用的想法。有必要提一下,在這種情況下,一項技術在採用曲線上的確切位置可能會有所不同。例如,微服務在灣區的公司中被廣泛採用,但在其他地方可能不那麼廣泛,也許不那麼適用。

在本期的雲端計算和 DevOps 趨勢報告中,一位參與者指出了一個名為“資料可觀察性”的新興趨勢。通過這項新興技術,企業可以充分了解其系統的資料健康狀況。它可以沿著管道自動監控資料,以促進資料問題的故障排除和預防。這樣,資料團隊就可以增加價值實現的時間並提高他們的生產力。此外,有了資料可觀察性,通過資料管理生態系統的循證資訊,團隊之間的溝通會得到改善。

而且,人們越來越多地意識到雲端計算對環境的影響。可持續發展會計從“創新者”轉向“早期採用者”。微軟、谷歌和亞馬遜雲科技在全球範圍內運營大規模的資料中心,消耗了大量的能源。不過,它們在能源消耗方面比傳統資料中心更有效率。據 IDC去年的一份報告 估計,在 2021 年至 2024 年期間,轉向雲端計算應該至少能防止 6.29 億噸的二氧化碳排放。該報告的參與者也發現了這一點,並做了關於發展雲服務以幫助感知工作負載碳足跡的新聞報道。

此外,跨雲(Cross-Cloud)和雲原生混合方法的採用也在增加。我們認為,這個話題應該從我們圖表中的“創新者”移到“早期採用者”階段。公有云供應商繼續投資於服務。谷歌有 Anthos for Virtual Machines ,微軟有 Container App Services ,亞馬遜雲科技有 Outposts( 新增兩種規格,用於空間有限的地方 )。

對跨雲應用和部署平臺的支援也在繼續增加。新的 CNCF 沙盒專案,如 KubeVelaPorter ,簡化了跨雲環境的應用程式程式碼打包和部署。

正如一些參與者所指出的那樣,eBPF 和 WASM 正在為監控、可觀察性和服務網格技術提供一些令人興奮的機會。例如,Cilium 正使用該技術生成一個 無挎斗的服務網格 ,儘管文中強調,對於這是否是所有用例的最佳方法仍然存在爭議。就可觀察性來說,它可以改善對伺服器或容器網路的監控,而且無需安裝無數的代理。例如, Teleport 是一個開源的多協議身份感知訪問代理。該團隊在 SSH 會話的開始階段利用 eBPF 鉤子來捕獲 SSH 會話的詳細審計日誌。

在過去的一年裡,供應鏈安全一直是一個熱門話題,發生了幾起備受矚目的安全事件。 Aqua Security 的一份報告發現,從 2020 年到 2021 年,供應鏈安全攻擊增加了 300%,而安全水平沒有相應的提高。為了應對攻擊的增加, 開源安全基金會(OpenSSF) 宣佈了 Alpha-Omega專案 ,以改善涉及多個開源軟體(OSS)專案的供應鏈安全。該專案將重點關注改善部署方位最廣、最關鍵的 OSS 專案的安全狀況。GitHub 和谷歌釋出了 OpenSSF Scorecards專案 的新版本。Scorecards 是一個自動化安全工具,可以識別出開源專案中有風險的供應鏈實踐。我們希望,在未來一年中,這一領域會發布更多公告和技術。

多位貢獻者指出, 無程式碼或低程式碼解決方案 在 DevOps 中的使用正變得越來越普遍。 正如CD基金會執行董事Tracey Miranda所指出的那樣 ,“藉助低程式碼和無程式碼,‘公民’開發者就能夠構建應用程式,幫助緩解 IT 部門的壓力。”這些解決方案可以用來幫助改進內部工具和自動化。我們希望看到這個領域也有更多的發展。

下圖是 2021 年上半年的話題圖。2022 年的版本在本文開頭。

以下是幾位 InfoQ 雲端計算 DevOps 主題編輯與 InfoQ 撰稿人之間內部聊天記錄的輕度編輯稿,這為我們在技術採用圖上的建議定位提供了更多的背景資訊。

亞馬遜雲科技開發關係主管 Lena Hall

無伺服器即基本期望(Serverless as a Baseline Expectation):早期採用者階段,旨在取代無伺服器資料庫。無伺服器體驗正成為開發者對雲服務的一個基本期望。無伺服器能力經常與應用開發聯絡在一起,因為它最初提供了無伺服器函式和邏輯執行。後來,我們開始看到無伺服器資料庫。現在我們注意到,為了滿足客戶的期望,有更多的產品增加了無伺服器功能。無伺服器正在成為一種基本需求,而不僅僅是一種“有更好”的體驗,為的是可以“為變化而設計(design for change)”,並可以靈活應對現代雲開發動態、事件驅動、面向微服務的特點。例如,我們最近看到, 亞馬遜Redshift增加了無伺服器功能 ,可以減少操作負擔,不再需要設定和管理基礎設施,並能夠通過查詢資料倉庫中的資料獲得洞察力。我們看到,人們採用無伺服器來改善開發體驗,通過部署機器學習模型進行推理,而無需配置或管理基礎設施。

同時,雲服務的無伺服器能力也是在組織內建立 共享自助服務基礎設施 (這是資料網概念的支柱之一)的重要一環。共享自助服務基礎設施將依賴於基礎設施配置所需的產品或服務的自助服務能力。不過,共享自助服務基礎設施的目標更廣泛——減少組織內各領域操作資料管道技術棧和基礎設施所需的重複工作和技能。例如,它將有助於提供一個可供單個數據產品使用的抽象,其中包括可觀察性、目錄和譜系、聯合身份管理、可擴充套件性、統一訪問控制、分析引擎、資料儲存等能力。

開發體驗即決策驅動(Developer Experience as Decision Driver):早期採用者階段。在開發者決定是否倡導採用一項特定的技術時,開發體驗正在成為一個越來越關鍵的因素。缺乏良好的開發體驗可能意味著風險或重要能力存在瓶頸,如可擴充套件性、自動化、創新速度,甚至是 安全性 。許多開發社群都更喜歡小眾的、高度專業化的雲端計算供應商(例如,Vercel、Netlify、Stripe 等),因為這些供應商為他們的工作負載提供了卓越的開發體驗,可以在無監督的情況下即時部署和自動擴充套件。頂級的雲端計算領導者可以向小公司學習,大力投資開發體驗,以不斷滿足客戶的期望。我們開始看到,這個領域有了更多的進展,也獲得了更大的優先權,例如 AWS Proton開發體驗 ,可以自動化容器和無伺服器部署管理,同時結合了基礎設施即程式碼、CI/CD 管道和可觀察性自助服務能力,並且不需要具備相關底層服務的專業知識。我們應該關注的另一個主要的開發體驗領域是彌合本地開發和部署環境與生產雲部署之間的差距。

資料可觀察性:創新者階段。資料可觀察性是一項新興技術,可以幫助我們更好地理解和解決資料密集型系統的問題。我們接觸可觀察性的概念已經有一段時間了,因為像 Honeycomb 這樣優秀的公司已經做了很多工作——Charity Majors 提供了一些關於這一方面的最好的資源。 資料可觀察性 的概念由 Monte Carlo Data 的 Barr Moses 在 2019 年首次提出。她是這樣說的,“資料可觀察性是一個組織充分了解其系統中資料健康狀況的能力”。資料停機是指資料不完整、錯誤、缺失或不準確。將從 DevOps 中學到的最佳實踐應用於實現資料管道的可觀察性,可以消除資料停機時間。它使用自動監控、告警和分流來識別和評估資料質量和可發現性問題。這可以提升管道的健康狀況,提高團隊的生產力。

AI 開發民主化:早期採用者階段。我們看到,雲端採用和提供的預訓練模型越來越多,開發者可以在沒有機器學習經驗的情況下用它們來處理常見的用例。這消除了複雜技術採用的障礙,讓更多的開發者可以從中受益—— 亞馬遜人工智慧自助服務 Rekognition,以及 Azure Cognitive Services ,就是很好的例子。

Funambol 首席雲架構師、亞馬遜雲科技資料英雄 Renat Losio

FinOps:早期採用者階段。“FinOps”這個詞,一年前還幾乎不為人知,現在已經變得非常流行,大多數時候,它指代公司已經在做的實踐,只是用了不同的名字。

無伺服器資料庫:也許仍然是早期採用者階段,又或許已經是早期多數階段,但不管怎樣,它都已成為所有資料相關服務的必選專案。我們看到,在過去的 12 個月裡,不管是服務提供還是採用,無伺服器和分散式 SQL 資料庫在雲原生應用領域都出現了大幅增長。資料倉庫和分析領域現在也有了無伺服器選項。然而,為了獲得更多的使用者,提升工作負載彈性,有些公司,包括亞馬遜雲科技在內,卻在無伺服器概念上走了捷徑,例如不提供資料 API 或規模縮小為零的能力。

邊緣計算:現在處於早期多數階段,選擇無處不在,常常不知不覺的就使用了。邊緣計算提供了新的選項,在靠近終端使用者的地方提供資料處理、分析和儲存。雲供應商將他們的基礎設施和服務擴充套件到了更多的地方,並整合企業資料中心以支援新的邊緣應用場景。

可持續發展會計:早期採用者階段,通過大多數雲供應商提供的軟體即服務解決方案來記錄和減少環境對部署的影響。它往往只是用於成本管理/削減,具有很高的“漂綠(greenwashing)”風險。

混沌工程實踐:早期大多數階段。已經有更多的工具可以使用,甚至作為一種服務,終於有更大或更有影響力的公司做了,或至少假裝以某種形式做了。

HSO 技術整合架構師、Microsoft Azure MVP Steef-Jan Wiggers

FinOps:從創新者階段到早期採用者階段。我也同意 Renato 的觀點。越來越多的公司已經對雲支出有了成本意識,並採用了 FinOps基金會 的做法。此外,公有云供應商擴充套件和增強了他們的成本管理服務,比如亞馬遜雲科技有 AWS Billing Conductor ,這是 AWS雲財務管理解決方案 的一部分,還有 AWS管理控制檯主頁 。谷歌有計算引擎暫停/恢復( Suspend/Resume of Compute Engine )和無人值守專案推薦器( Unattended Project Recommender )。最後是微軟。除了公有云供應商,還有許多其他第三方商業產品,如 Cast AI、CloudZero 和 Yotascale。

最新的《 2021年FinOps現狀報告 》提供了一個明確的結論:不管雲支出的規模大小,雲財務管理(即 FinOps)已經成為大型企業的主流做法。

可持續發展會計:也從創新者變為早期採用者。公有云供應商微軟、谷歌和亞馬遜雲科技是巨大的能源消費者,因為它們的資料中心遍佈全球。他們及其他許多人都簽署了 氣候承諾書 。為了讓客戶瞭解工作負載的碳足跡,亞馬遜雲科技釋出了一個 客戶碳足跡工具 ,而谷歌則預覽了 碳足跡服務 。與此同時,從 2020 年開始,微軟就已經推出了 可持續發展計算器

跨雲/雲原生混合方法:也是從創新者到早期採用者。公有云供應商一直在投資這些產品。例如,谷歌有 Anthos for Virtual Machines 預覽版,微軟有 Container App Services 正式版,亞馬遜雲科技有 Outposts( 增兩 種規格 ,用於空間有限的地方 )。。

Data Ops:Data Ops 去年有很大的發展,特別是在資料治理、資料譜系、資料質量和資料目錄工具方面。Microsoft Purview 就是一個很好的例子, 這個名字是最近才改的 ,其中包括 Microsoft Data and AI 的資料治理,以及 Microsoft Security 的合規和風險管理。該服務增加了身份和訪問管理、威脅保護、雲安全、端點管理和隱私管理等能力。在我看來,它仍然處於“早期採用者”階段。

Ambassador Labs DevRel 部門負責人、InfoQ 新聞經理、QCon 主持 Daniel Byrant

平臺工程、黃金路徑和開發經驗:Lena 評論說開發體驗成為決策驅動力,我在平臺領域也看到了這一點。雲原生工程師逐步成為“ 全週期開發者 ”,他們需要編碼、交付和執行應用程式。他們還被告知要“特性左移”,如安全性、可靠性、可擴充套件性等,如果沒有工具、抽象和平臺支援,工程師就無法做到這些。為了構建這些平臺, 平臺工程師 的角色正在各種規模的組織中興起。

從技術的角度來看,Spotify 團隊早就談到了他們如何開闢“ 黃金路徑 ”,Netflix 也有類似的“ 鋪路 ”方法。《團隊拓撲學》的作者已經涵蓋了這些組織和文化方面的內容,而且這本書的受歡迎程度也在不斷提高。如果你感興趣的話,可以觀看我最近在 KubeCon EU 的演講“ 從Kubernetes到PaaS到......呃,下一步是什麼? ”,我在其中更深入地介紹了這個話題。

eBPF 和 Wasm——代理擴充套件的最後對決?正如其他人所提到的那樣,eBPF 和 Wasm 是兩個熱門技術,儘管它們存在根本的不同,但在很多重疊的用例中存在競爭。在 KubeCon EU 大會上, 一個比較前沿的用例是在網路代理中實現可擴充套件性 。Cilium 團隊在 eBPF 方面做了大量工作,在 Kernel 中提供了類似服務網格的網路擴充套件,而谷歌和 Envoy 團隊在通過 Wasm 外掛實現 Envoy Proxy 擴充套件性方面取得了很大的進展。

我說這是一場“對決”,這是玩笑話。實際上,這是兩種互補的技術,應該可以為服務網格和其他雲網絡解決方案的終端使用者帶來很多好處。希望這是目前一些(複雜的)網路棧被推上平臺的前兆。這讓我想到了下一點。

簡化 K8s 網路——Envoy 閘道器:在 KubeCon EU 大會上,雲網絡領域另外一個令人興奮的訊息是 Envoy閘道器 專案。該專案基於 Emissary-ingressContour專案Kubernetes Gateway API 社群的工作,目的是簡化 Kubernetes 的入口。這是該領域正在進行的大規模努力的一部分。

軟體供應鏈保護:這個領域有兩個專案, 軟體物料清單(SBOM)軟體工件的供應鏈級別(SLSA) ,得到了很多關注。我個人從 Kelsey Hightower 那裡瞭解到了很多關於這些專案的需求。目前,這個領域出現了很多供應商,因為技術很複雜,要做好並不容易,而且風險也很大,只要看看越來越多的供應鏈黑客就知道了。與構建時安全同樣重要的是,我們也開始看到,人們對執行期安全檢測的興趣有所回升,例如 Falco專案 (巧合的是,它使用了 eBPF)。

CNCF & CDF 大使、產品經理 Feynman Zhou

早期創新者新話題:

  • 軟體安全供應鏈(DevSecOps)

  • 應用程式定義和編排(新的應用程式框架進入 CNCF 沙箱,如 KubeVela 和 Porter)

  • 低程式碼平臺

  • WebAssembly

早期採用者新話題:

  • 策略即程式碼(OPA 和 Kyverno 使 Kubernetes 策略管理現代化)

  • 跨雲/雲原生混合方法(混合雲和多雲是企業架構的新趨勢)

  • 服務網格

  • 服務代理

轉為早期多數

  • 雲 FaaS/BaaS 應更名為 FaaS/BaaS(雲無關的無伺服器平臺正在出現,如 OpenFaaS、OpenFunction、Knative、Kubeless 等)。

  • 混沌工程實踐

CloudRoads 負責人、InfoQ DevOps 編輯 Mostafa Radwan

創新者

  • 新增量子云計算

  • 如今,作為其雲產品的一部分,幾乎所有主要的雲供應商都提供量子計算服務。這可以通過直接訪問量子計算機(即 IBM)或模擬器(即 Amazon Bracket)實現。

  • 新增 eBPF

  • 有許多 eBPF 應用程式包含應用程式監控和除錯

早期採用者

  • 將 FinOps 從創新者移到早期採用者

有更多的專業人士正在接受關於 FinOps 原則和實踐的培訓。它沒有被廣泛採用,但許多人正在研究它或僱用 FinOps 專業人員成為其雲運營組織的一部分。

  • 將跨雲/多雲從創新者移到早期採用者

大大小小的組織都意識到,他們不希望被雲鎖定,他們更喜歡利用每個雲供應商獨有的特性,以提升安全性並降低成本。此外,一些企業正在考慮或已經在使用跨多個雲的雲原生叢集。

Salesforce 敏捷交付負責人、Agile & DevOps 轉型教練 Shaaron Alvares

我看了一下去年的圖表,沒有看到多少變化。但也許在創新者和早期採用者中有兩種趨勢?

無觸式(或無程式碼)IT-Ops 代替 no-Ops

無觸式(或無程式碼)自動化軟體

我不確定我們是否可以以此作為實踐,但 DevOps DORA Metrics 應該是處於早期採用者階段。

D2L 雲平臺副總裁、InfoQ DevOps 責任編輯 Matt Campbell

正如其他一些人所指出的那樣,供應鏈安全在過去的一年裡有了很大的發展。攻擊大幅增加推動了一些新的發展。隨著各組織採取行動打擊這些新的威脅,這方面技術的採用速度也很快。

將一切東西編碼化的趨勢繼續擴大。文件即程式碼(或持續文件)有一些新的發展,因為企業希望簡化文件編制過程,保證重要的文件可以及時更新。我覺得這在早期採用者階段。

在過去的一年裡,作為溝通結果和目標的工具,SLO 的採用繼續增加。人們對傳統事件報告指標(如事件計數或 MTT*指標)的侷限性瞭解的更多了,也就意味著需要替代方案。我希望看到各種可觀察性平臺很快就開始增加 SLO 建立和跟蹤工具。我認為這是個晚期創新者話題。

一個令人興奮的新趨勢是 The VOID 目前正在做的事情,即把軟體事件報告彙總到一個地方。這使得對這些報告進行有趣的資料分析成為可能,人們有望藉此找出改善軟體彈性的線索。我將把這種按行業聚合的事件分析歸入創新者行列。

作者簡介:

Steef-Jan Wiggers是 InfoQ 資深雲端計算編輯之一,在荷蘭 HSO 公司擔任技術整合架構師。目前,他主要致力於整合平臺實施、Azure DevOps 和 Azure 平臺解決方案架構。Steef-Jan 是荷蘭 Azure 使用者組的董事會成員,是會議和使用者組的演講者,也是 InfoQ 和 Serverless Notes 的撰稿人。此外,在過去的 11 年中,他被微軟評為 Microsoft Azure MVP。

Matt Campbell是 InfoQ DevOps 編輯團隊的負責人。他是教育科技公司 D2L 的雲平臺副總裁,負責基礎設施和雲平臺團隊。他關注的領域是 DevOps 和 SRE 及其企業實施。

Lena Hall是亞馬遜雲科技北美區開發者關係主管。她影響著雲技術的未來和構建者的開發體驗。她是推進雲服務進一步加速的工程倡議的驅動者。Lena 在解決方案架構和軟體工程方面有超過 10 年的經驗,專注於分散式雲程式設計、實時系統設計、高可擴充套件性和高效能系統、大資料分析、資料科學、函式程式設計和機器學習。在此之前,她是微軟 Azure 的工程總監,專注於大規模分散式系統和現代化架構。她與人共同組織了 ML4ALL 大會,並經常是 Kafka 峰會、Lambda 世界大會等會議計劃委員會的受邀成員。她在本文的觀點只代表她自己,不代表她的僱主。

Renato Losio是一名擁有多年開發經驗的軟體工程師,在義大利、英國、葡萄牙和德國擔任過技術負責人和雲服務專家。他住在柏林,作為 Funambol 的首席雲架構師遠端工作。雲服務和關係型資料庫是他的主要工作方向。他是亞馬遜雲科技資料英雄。

Daniel Bryant在 Ambassador Labs 擔任 DevRel 總監,同時也是 InfoQ 的新聞經理和 QCon 倫敦大會的主席。目前,他主要致力於 DevOps 工具、雲/容器平臺和微服務實現。Daniel 是倫敦 Java 社群(LJC)的負責人,為多個開源專案做貢獻,併為 InfoQ、O'Reilly 和 DZone 等知名技術網站撰稿,還定期在 QCon、JavaOne 和 Devoxx 等國際會議上發表演講。

Feynman Zhou是微軟的產品經理。他主要致力於供應鏈安全專案。在加入微軟之前,Feynman 在 QingCloud 工作了 4 年,擔任高階社群經理。他幫助 3 個開源專案加入 CNCF,並從頭開始建立社群。此外,Feynman 還是一名活躍的 CNCF 和 CDF 大使。他幫助 CNCF 和 CDF 在中國推廣雲原生技術。

Mostafa Radwan是一位專注於雲和雲原生技術的技術顧問。他的職業生涯是從一名 Java 軟體工程師開始的,之後進入了應用程式和生產支援領域。過去幾年中,他一直在幫助企業採用 DevOps 和雲原生技術,幫助他們獲得更好的業務成果。在不研究技術或服務客戶的時候,Mostafa 喜歡閱讀、騎行,以及和家人一起環遊世界。

Shaaron A Alvares是 InfoQ DevOps、文化 &方法版塊的新聞記者和編輯。同時,她還在華盛頓州西雅圖的 F500 企業中擔任經理和敏捷轉型教練與培訓師。她在技術和組織轉型方面有豐富的全球工作經驗,她在歐洲多家全球 500 強企業中引入了精益敏捷產品和軟體開發實踐,如法國巴黎銀行、紐約泛歐交易所、美國鋁業公司等。她在亞馬遜、Expedia、微軟、T-Mobile、迪士尼等公司領導了重要的精益敏捷和 DevOps 實踐的採用和轉型,同時專注於引入敏捷思維和與組織績效目標一致的定製化價值驅動實踐。她是董事會成員、博主、作家和主題演講者,是 DevOps 研究所和持續交付基金會的大使。Shaaron 在法國國家科學研究中心(CNRS)發表了她的碩士和博士論文。

原文連結:

InfoQ 其他領域 2022 年趨勢報告:

InfoQ 2022 年趨勢報告:架構與設計篇

InfoQ 2022 年趨勢報告:文化與方法篇

InfoQ 2022 年趨勢報告:移動及物聯網篇