2021 年年度最佳開源軟體!
爭做團隊核心程式設計師,關注「 幽鬼 」
來自:今日頭條,作者:風吹草低見到喜洋洋
連結:http://www.toutiao.com/a7028029253035770371/
Svelte
http://svelte.dev/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b4250323d58e9e14e04ae752ce101605c081ea5b87a3c2bebd28f726690b5e99e.jpg)
Svelte 是一種全新的構建使用者介面的方法。傳統框架如 React 和 Vue 在瀏覽器中需要做大量的工作,而 Svelte 將這些工作放到構建應用程式的編譯階段來處理。
與使用虛擬(virtual)DOM 差異對比不同。Svelte 編寫的程式碼在應用程式的狀態更改時就能像做外科手術一樣更新 DOM。
Minikube
http://minikube.sigs.k8s.io/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b0cf014a559d7a0b04a65e8ca322420d234e5219bb7796b77591e1cf26fe2ad43.jpg)
Minikube 可以在本地單機上執行Kubernetes叢集的工具。Minikube可跨平臺工作,不需要虛擬機器,不需要在MacOS或Windows上安裝Linux。支援多種容器,如Docker,CRI-O,Containerd等。
Pixie
http://px.dev
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b6e1b199a6af0e0740f4a883c8b21184de7b54512b4e37cdffc69a4155b591c7f.jpg)
Pixie是檢視Kubernetes的工具。可檢視Kubernetes叢集的狀態,比如,伺服器叢集效能,網路狀況,叢集資源 以及 相關應用程式等。 還可以檢視更詳細的內容,比如,pod狀態,請求量,熱點圖等。 Pixie的資源佔用僅有5%左右。
FastAPI
http://fastapi.tiangolo.com/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b17d00acd1186872582601819a4b239885f8e2efcccc35c78950eedb13a364137.jpg)
FastAPI是一個Python網頁框架。FastAPI以其高效、易用贏得了開發者的青睞,直接挑戰了Django和Flash的傳統地位。FastAPI的優點是,型別檢查、自動 swagger UI、支援非同步、強大的依賴注入。
Crystal
http://crystal-lang.org/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229be43275fa48a08d88bf2d6f3e769289df4015569da10e14810cdca3f61d52436b.jpg)
Crystal已經面試很多年了,Crystal的特點是兼具C語言的高效和Ruby的靜態型別。今年初已經發布了1.0版本,目前最新版本為1.2.1,已經足夠穩定。
Microsoft Terminal
http://github.com/Microsoft/Terminal
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af9839362d9c3395ebefa723b50c3d341163dd949e35809384f58dc46961b2e00827a17.jpg)
Microsoft Terminal 是一個開源的Windows的終端,提供類似Mac和Linux命令列的體驗。Microsoft Terminal具有GPU加速渲染,較傳統控制檯具有更好的效能提升。
OBS Studio
http://obsproject.com/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4bd075503a739e5c719653f98bcdd4526391b1b7c4d8fa5d2849d79a59341df2d4.jpg)
OBS Studio 是一款用於直播和螢幕錄製的軟體,為高效捕獲,合成,編碼,記錄和流傳輸影片內容而設計,支援所有流媒體平臺。快捷鍵可讓試圖平滑切換,甚至還有畫中畫和實時字幕的新功能。
Shotcut
http://shotcut.org/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229bbee7f041b41a49bd5b7110f08c7d3e30f1144da1b8256420364125da777aa2bc.jpg)
Shotcut是一個強大的影片編輯工具。Shotcut具有中文版支援,可在Windows,MacOS,Linux,BSD等作業系統上執行,Shotcut具有數百種音訊、影片格式,以及編解碼器,且無需匯入,可直接編輯。
Weave GitOps
http://github.com/weaveworks/weave-gitops
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af9839355b5aed30a40dd2799b2da332b1755241a3575c9630f00f1338068d4e1287b9c.jpg)
Weave GitOps 是一個GitOps工具。其目的是簡化DevOps的工作流程,通過宣告配置使Kubernetes更加穩定和安全。Weave GitOps 基於 雲原生基金會的 Flux。
Apache Solr
http://solr.apache.org/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b14f86ee31b897cd6ccad77e7c3f877b2b19aa86fba59cc15345c4b2f07535f8a.jpg)
Apache Solr 是基於 Lucene 的全文搜尋伺服器,也是最流行的企業級搜尋引擎。Solr 放棄了開源的許可證,不過現在仍然是免費的。Solr 可叢集部署、可在雲端部署,甚至包括 LTR 演算法,可自動調整加權結果。
MLflow
http://mlflow.org/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b0d1d10d65a157466dd44ae1c47d372dc7e0834061877faa997a36b1bfca14f2d.jpg)
MLflow 是由 Apache Spark 技術團隊開源的一個機器學習平臺。MLflow 由 Databricks 建立,並由 Linux 基金會託管,是一個 MLOps 平臺,可讓使用者跟蹤、管理和維護各種機器學習模型、實驗及其部署。MLflow提供了記錄和查詢實驗(程式碼、資料、配置、結果)的工具,將資料科學程式碼打包成專案,並將這些專案接入工作流程。
Orange
http://orangedatamining.com/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b2d41be94a05d4ef0a8308cd7b3a9c66fd96bbdcc5285348f8618347b3d6a9a86.jpg)
Orange 是一款用於開源機器學習和資料視覺化的工具。Orange與 R Studio 和 Jupyter等程式化或文字工具相比,Orange 更直觀易操作。Orange 包含了完整的一系列的元件以進行資料預處理,並提供了資料賬目,過渡,建模,模式評估和勘探的功能。
Flutter
http://flutter.dev/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4bd1faae8e8e529e19e740a5a435de2f32ea3d78e8a7089d22f5e836b2b4e6ee6c.jpg)
Flutter是谷歌推出的一個新用於構建跨平臺的手機、網頁、桌面,嵌入式裝置應用的SDK。Flutter 的元件,比如,滾動條、導航、圖示和字型,整合了IOS和安卓平臺的差異。
Apache Superset
http://github.com/apache/superset
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4bdd1947f0bb848c6caa54395cf6a40ce4c8b6542e0c3202cca99b737a67ac9e17.jpg)
Apache Superset是一個現代的、輕量級視覺化BI分析工具。Apache Superset在視覺化、易用性和互動性上非常有特色,使用者可以輕鬆對資料進行視覺化分析。而且Apache Superset 已經達到企業級商業軟體的水平。
Presto
http://prestodb.io/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af983932eb3acee8f5075df914035b45da283e3cdcf444b96f659ebac726b4d3d76700b.jpg)
Presto 是一個開源的分散式 SQL 引擎,用於叢集中的線上分析處理。Presto 可以查詢各種各樣的資料來源,從檔案到資料庫,並將結果輸出到BI和分析環境。更重要的是,Presto 可以在 Hive、Cassandra、關係型資料庫中進行查詢,而且Presto 還可以結合多個來源的資料查詢。
臉書、Uber、推特和阿里巴巴創立了 Presto 基金會。其他成員現在包括 Alluxio、Ahana、Upsolver 和英特爾。
Apache Arrow
http://arrow.apache.org/
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4bf001a803f43318feaed6b659447bc399dba3f8daaef2cbf29723d2dbd03dd711.jpg)
Apache Arrow 是一個列式記憶體分析層,旨在為CPU和GPU上加速大資料的分析。它包含了一套平面和分層資料的典型記憶體表示,Arrow 記憶體格式支援零拷貝讀取,並且不必序列化的情況下訪問資料極快。目前Apache Arrow支援的語言包括 C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python、R、Ruby 和 Rust。
InterpretML
http://interpret.ml/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b7253e542fee7dee479fc1c43571ca32e5d0e053210ee588826ea553b7559b26f.jpg)
InterpretML是微軟推出的可解釋機器學習包。其中包含了幾個最先進的機器學習可解釋性技術。InterpretML提供了兩類解釋性型別:明箱(glassbox) 模型和黑箱(blackbox)模型。InterpretML 可讓實踐者通過在一個統一的 API 下,藉助內建的可擴充套件視覺化平臺,使用多種方法來輕鬆地比較可解釋性演算法。InterpretML 也包含了可解釋 Boosting 機(EBM)的首個實現,這是一種強大的可解釋明箱模型,可以做到與許多黑箱模型同等準確。
Lime
http://github.com/marcotcr/lime
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af98393afa290e9e32cd37920a4fe9c9197fa1153100f7ed8ac55c4886b01f7aef8a8c5.jpg)
Lime(Local interpretable model-agnostic explanations 區域性可解釋模型-不可知解釋的縮寫),Lime用於表格或圖片的解釋機器學習的分類器。Lime 能夠解釋兩個或更多類的黑盒分類器。分類器實現了一個函式,該函式接收原始文字或 numpy 陣列並輸出每個類的概率。
Dask
http://dask.org/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229bff0a64acbf01c98c4f340184ecf50e552d26ae023ea4d66b0196b103f53b5527.jpg)
Dask 是一個用於平行計算的開源庫,可將 Python 包擴充套件到多臺機器上。Dask 可將資料和計算分佈在多個 GPU 上,即可在單一系統也可在多節點叢集中執行。Dask 可與 Rapids cuDF、XGBoost 和 Rapids cuML 整合,用於 GPU 加速的資料分析和機器學習。Dask還可與 NumPy、Pandas 和 Scikit-learn 整合進行並行化工作。
BlazingSQL
http://blazingsql.com/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af983936cc5bd36e7a1ae01e11e8973a32bf378743823c9065b24712542849e7ca6fe9a.jpg)
BlazingSQL 是一個基於 Rapids 生態系統構建的 GPU 加速 SQL 引擎。BlazingSQL基於 Apache 2.0 許可證開源。BlazingSQL是cuDF的SQL介面,具有支援大規模資料科學工作流(包括提取,轉換,載入)和企業資料集的各種功能。
Rapids
http://rapids.ai/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b6c40eb22e548fbaaa836a047bb830a357ca6da896c48c7f6a0ba516e3c9adeaf.jpg)
Nvidia 的 Rapids是由英偉達開源的一款開源機器學習GPU加速平臺。Rapids 使用英偉達 CUDA 基元進行底層計算優化,通過Python 將 GPU 的並行和高頻寬記憶體以介面方式向外開放。Rapids 依賴於 Apache Arrow 柱狀記憶體格式,包括cuDF(類似 Pandas 的 DataFrame 庫);cuML(機器學習庫集合,提供 Scikit-learn 中大多數演算法的 GPU 版本);以及cuGraph(類似 NetworkX 的加速圖分析庫)。
PostHog
http://posthog.com/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229ba073f1befbac442fdecb61a7fae73260d8d8028048d827c8b6070af3c45cc181.jpg)
PostHog 是一個為開發者構建的開源產品分析平臺。自動收集網站或應用程式上的每個事件,無需向第三方傳送資料。PostHog 提供基於使用者事件的分析,捕獲網站的使用資料,統計各使用者在網站中的具體操作。PostHog會自動捕獲點選次數和綜合瀏覽量,以分析網站使用者在做什麼,而無需手動推送事件。
LakeFS
http://lakefs.io/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af983930d7303a6e587f6f8e1c7d4a646a830a130bee84fb143f72b7416f63df86176a2.jpg)
Meltano
http://meltano.com/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b9aedf67f53c80e2ad8151ae595e1b9da77b16323b7b543a89459cc4135132b0d.jpg)
Meltano始於2018年GitLab的內部專案,服務於 GitLab 資料管理。2021年從GitLab獨立出來成為一個初創公司。
Meltano是一款免費 DataOps 時代的ETL工具,旨在替代替代傳統 ELT的工具,ELT是指資料提取、載入、轉換操作的統稱。
Meltano特點是開源、自託管、CLI(命令列)、可除錯和可擴充套件。
Meltano建立管道即程式碼的概念,Meltano專案可進行版本控制、程式碼審查、持續整合和部署 (CI/CD )以及容器化等。
Trino
http://trino.io/
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b19a28d9276a1bdcdfc03071c25c33eb678c9f532bc1166c60b52adae39434eb5.jpg)
Trino 用於大資料分析的快速分散式 SQL 查詢引擎
2019年PrestoDB的開發者建立了一個名為PrestoSQL專案分支。由於所屬基金會的轉移,PrestoSQL於2020年12月更名為 Trino。
Trino是一款用於大資料分析且效能優越的分散式 SQL 分析引擎。Trino 可同時對EB 級資料湖和海量資料倉庫進行高效查詢。Trino 符合 ANSI SQL 的查詢標準,可與 R、Tableau、Power BI、Superset 等 BI 工具配合使用。可在 Hadoop、S3、Cassandra、MySQL 的資料倉庫中聯合查詢。
StreamNative
http://streamnative.io/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af983931cb94a1050f0beeb0120e95f0ce011a4e6875d77d7d1111e7b3c09bd991383e3.jpg)
StreamNative 是一款彈性部署且可擴充套件的訊息和事件流平臺,大大簡化了實時報告和分析工具以及企業應用流的資料管道架設。StreamNative 將 Apache Pulsar 分散式流處理架構與 Kubernetes 和混合雲支援等,以及企業級功能、大型資料、認證和授權、效能監控等工具相結合,既簡化了應用程式的開發,又簡化了流資料應用的部署和管理。
Hugging Face
http://huggingface.co/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af98393d54b1db949ce8929382d3eeec7908a0020e9c895611e30b694c3770a2e553c42.jpg)
Hugging Face是一個公司,也是一個網站。
Hugging Face 提供了以非常有用的深度學習資源庫,比如深度學習的模型,資料集,還有網站的使用空間的等,不過大多是要付費的。
另外Hugging Face的主要產品是聊天機器人,為此Hugging Face 開發了自己的自然語言處理 (NLP) 模型,稱為分層多工學習 (HMTL) 並在PyTorch-Transformers下管理了一個預訓練的 NPL 模型庫。
EleutherAI
http://www.eleuther.ai/
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af9839361970801ce46d6223349d4a3d248ff1a9ca8858c0ac0a92cd9e87aed1c7be4f8.jpg)
EleutherAI是一個開源的社群人工智慧專案,旨在建立一個完全去中心化的、具有自治文明的單例人工智慧。EleutherAI 專案始於 2011 年,任何能連線網際網路且有GitHub 帳戶的人都可以參與。社群成員可通過提交開發功能以或提案來參與專案。EleutherAI 的開發者每週會更新專案進度,這些更新會在 YouTube 上進行現場直播。
2021年 EleutherAI 釋出了The Pile,是一個 825GB 用於訓練的多樣化文字資料集;並在6月公佈了 GPT-J,一個 60 億引數的模型,大致相當於 OpenAI 的 GPT-3 的居里變數。隨著 GPT-NeoX 的出現,EleutherAI計劃將引數一直提高到 1750 億,發起了爭奪最大GPT-3模型的挑戰賽。
補充,OpenAI的 GPT-3 模型在文字生成方面實現了驚人的飛躍,甚至具有了人類級別的效能。但其API始終未能完全開放,目前只有 OpenAI 和微軟內部才有完全訪問全部訓練集。
Colab notebooks for generative art/Colab notebooks用於生成藝術品
首先是 OpenAI 的 CLIP(對比語言-影象預訓練)模型,一種用於生成文字和影象向量嵌入的多模態模型。雖然 CLIP 是完全開源的,但 OpenAI 的神經網路 DALL-E 卻不開源。為了彌補這一空白,Ryan Murdoch 和 Katherine Crowson 開發了 Colab notebooks,將 CLIP 與其他開源模型(如 BigGAN 和 VQGAN)結合起來,製作 Prompt-based 生成性藝術作品。這些 notebooks 基於 MIT 的開源許可證,過去幾十年間在網際網路上廣泛傳播,被重新混合、修改、轉譯,並被用來生成了驚人的藝術作品。
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b7260cb11f78de046adc5a9a536d694894f73a16be439d3c275a471910607d605.jpg)
如果有收穫,還請 點贊、在看、轉發 ,感謝你的閱讀和支援。
留言說說你2021發現的好專案吧,留下基本介紹+(開源專案地址),期待分享,互相學習。
還可以留言說說你用過哪些,覺得有什麼優缺點,思想碰撞。
- Go 開發人員最佳 VSCode 外掛列表
- 技巧:如何在 Go 中編寫準確的基準測試?
- 說好的 Swift 取代 Python 呢?
- 使用 Go 語言完成 HTTP 檔案上傳與下載
- 7 年後,發現用 Go 實現 CockroachDB 是正確的選擇
- 在 Golang 中使用 -w 和 -s 標誌
- 關於 Go1.18 新函式 TryLock 的故事
- Java、Go 和 Python 的多執行緒效能對比
- Go GUI 開發者調查結果
- PHP 正在迅速死去
- 為什麼基礎設施工程師更喜歡MySQL?
- 分享10個值得關注的C語言開源專案
- 60 個神級 VS Code 外掛!
- WebAssembly 開啟微服務新時代?
- 12 個優化 Docker 映象安全性的技巧
- 如何哄女神歡心,這個Go開源專案說的一清二楚
- GitHub 良心操作:推出僅供贊助者使用的儲存庫
- 程式設計師技術選型:寫Go還是Java?網友:Rust不香?
- 2021 年年度最佳開源軟體!
- Go 語言中包的風格指南