資料安全新戰場,EasyMR為企業築起“安全防線”

語言: CN / TW / HK

2020年1月,時間跨度長達14年的,微軟2.5億條客戶服務和支援記錄在網上洩露;

同年4月,微盟發生史上最貴“刪庫跑路”事件,造成微盟市值一夜之間縮水約24億港幣;

今年7月,網信辦依據《資料安全法》等法律法規,對滴滴公司開出人民幣80.26億元的鉅額罰款,對網際網路企業敲響資料安全警鐘。

資料作為網際網路的重磅資源,當今重要的“生產要素”及核心競爭力,已經獲得了立法上的認可。隨著2021年9月1日,中國第一部有關資料安全的法律《資料安全法》正式施行,我國的資料安全制度已經進入了一個新階段。

不同於網路安全側重於通過保障計算環境的安全,從而最終保障計算物件的安全。資料安全是以“資料為中心”,主要側重於資料全生命週期的安全和合規性,以此來保護資料的安全。而企業資料資產作為未來企業發展的基座,在資料採集、儲存、處理的一系列流程中,無疑面臨著巨大的安全風險挑戰。

如何更好地保障資料安全,成為壓在每個企業肩頭沉甸甸的擔子。

一站式大資料安全管理

作為全鏈路數字化技術與服務提供商,袋鼠雲在資料安全方面有過多年的探索和實踐。近日,袋鼠雲依託其實踐,在旗下產品大資料基礎平臺EasyMR上新增了一站式大資料應用安全防控以及資料許可權管控能力。

EasyMR是袋鼠雲今年7月最新推出的自研大資料基礎平臺,該產品集成了服務管控應用ChengYing和內部孵化大資料生態,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等元件的自動化安裝、中心化管理與叢集監控告警功能,完全相容Apache開源生態。是一款具備標準的服務部署、服務監控、服務管理等功能的產品。

此次,EasyMR通過整合第三方的安全管控服務Kerberos、Ldap和Ranger分別對大資料叢集進行使用者安全認證、訪問使用者管理以及使用者資料許可權管控。

藉助EasyMR的部署和管理能力,以介面化方式部署大資料叢集安全管控服務。大資料叢集使用者無需關注安全服務部署邏輯以及應用內部工作邏輯,只需要在EasyMR介面檢視具體開啟進度以及開啟結果狀態。

通過EasyMR部署大資料叢集管控服務,運維人員可以直觀地在EasyMR介面對安全管控服務進行管理和運維,包括服務的啟停、狀態監控等。

EasyMR安全管控能力

相比與其他廠商的大資料叢集安全管理,EasyMR可以做到一鍵部署安全管控服務,一鍵開啟大資料叢集元件的安全認證、使用者管理以及許可權管控服務。下面來具體聊聊EasyMR的安全管控能力

操作便捷

藉助EasyMR的管理能力,在部署安全管控服務之後,僅需要在對應的服務頁面點選開啟安全按鈕,即可開啟對應服務的安全。如圖:

file

例如:需要對Zookeeper開啟Kerberos,則只需要跳轉到Zookeeper所在服務頁面,點選開啟按鈕,等待開啟完成。應用開啟安全的內部具體實現流程如下:

file

EasyMR功能豐富,其中連線KDC進行服務票據的生成和服務票據的分發是通過EasyMR的指令碼管理能力完成;配置變更和配置下發到各個主機則是憑藉EasyMR的配置管理能力,在後臺對開啟安全服務配置進行新增和修改;而服務重啟則依賴EasyMR對服務起停的管理能力,實現對大資料叢集的自動重啟。

藉助EasyMR的配置檔案管理能力,在未開啟Kerberos狀態下,針對大資料叢集的配置會單獨維護一份當前叢集狀態使用的配置。當點選開啟Kerberos的按鈕時,後臺會將開啟Kerberos的配置新增到當前的配置檔案中。

例如 core-site.xml中的hadoop.security.authentication Kerberos。在未開啟安全情況下,此配置會預設賦值simple;在開啟安全操作觸發後,此配置會後臺替換為Kerberos,然後配置下發到對應服務所在主機上;配置下發完成後,EasyMR會自動觸發服務重啟邏輯,載入新的配置,重啟完成後會顯示安全開啟成功。

具體開啟步驟:

Part.1 點選開啟按鈕,確定開啟安全

file

Part.2 檢視具體開啟進度以及開啟列印日誌

file

Part.3 開啟成功

file

Part.4 票據下載使用

file

管理便捷

EasyMR具有大資料叢集配置檔案管理能力。在開啟Hadoop安全後,使用者想利用客戶端連線工具使用Hadoop或者Hive,對應的Hadoop叢集配置檔案hdfs-site.xml、core-site.xml、yarn-site.xml以及使用者票據等檔案不需要到伺服器上去進行獲取,直接在對應服務的頁面點選下載配置按鈕,即可下載對應配置的壓縮包,方便快捷。如圖:

file

EasyMR在對Kerberos和Ldap應用基本的部署、服務管理、服務監控等基礎功能外,增加了對Ldap使用者資訊的管理,擁有了使用者資訊檢視,使用者或使用者組資訊過濾,使用者資訊新增、修改使用者資訊等功能。

使用者在EasyMR頁面可以直接通過內嵌LDAP連線或者新增lDAP連線檢視Ldap使用者資訊。以及可以通過使用者過濾以及組過濾的方式,檢視過濾後的使用者資訊以及組下的所有使用者資訊。

file

此外,EasyMR還新增了對Kerberos使用者和使用者票據的管理功能。在管理了Ldap服務後,使用者在Ldap中新增一個使用者,EasyMR內部會在Kerberos中同步建立一個Kerberos使用者。對於使用者來說,Kerberos使用者資訊與Ldap使用者屬於對應關係。Kerberos使用者建立完成後,EasyMR會呼叫KDC服務對此使用者進行票據資訊的生成。使用者可以在此介面直接下在票據資訊,無需再到伺服器上連線KDC服務生成票據以及下載票據。

在EasyMR服務管理介面,使用者可以直接通過點選Ranger Admin服務提供的web連結資訊跳轉到對應的web ui介面,對Ldap使用者進行服務許可權以及資料許可權分配管理。

EasyMR安全能力規劃

資料安全隨著數字經濟的發展以及越來越多企業開始數字化轉型變得越來越重要,對於企業來說,有著“牽一髮而動全身”的效應。

作為國產自主研發的大資料基礎平臺,在現有的安全管控能力基礎上,EasyMR接下來還將豐富對大資料叢集的管理能力,持續優化安全管理的便捷性與通用型。

在當前安全管控能力優化增強的基礎上,EasyMR將持續增加KMS、SSL等一站式服務許可權管理能力,保障大資料叢集的服務安全、使用者統一維護、許可權統一管理。未來,EasyMR將會持續豐富大資料叢集安全防控,以保障使用者任務執行在安全高效的叢集上。

想了解或諮詢更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:http://www.dtstack.com/?src=szkyzg

新增【小袋鼠:dtstack001】入qun,免費獲取大資料&開源乾貨

同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:http://github.com/DTStack