K8s 安全策略最佳實踐

著K8s在生產和測試環境中用的越來越多，對安全性的關注也會越來越多，所以這次內容主要是帶大家更好的：

• 了解K8s環境面臨的安全風險
• 了解K8s提供的安全機制
• 改善K8s安全狀況的最佳實踐

1 K8s安全風險

這張圖是CNCF金融用戶小組總結的K8s信任邊界圖，它把在K8s環境中的信任邊界劃分成三大塊兒。

容器鏡像相關部分，主要涉及到的安全攻擊點就是鏡像倉庫和鏡像本身。紅色曲線可以被視為獨立邊界的系統。

K8s控制平面相關部分，如果說一個攻擊者攻擊你的K8s集群的話，首先會攻擊K8s的控制平面，中間涉及到的組件就是K8s的apiserver、scheduler和controller-manager，所以說這些組件之間調用鏈的安全也需要去注意。

節點上運行時的安全，其中包括kubelet、kube-proxy和容器運行時環境也容易被攻擊，要避免運行環境被滲透。

我們根據不同的攻擊類型劃分，首先最容易規避的就是來自外部的攻擊。通常情況下，來自外部的攻擊會有2種類型。

一種是系統層面的漏洞，需要及時更新，及時跟進K8s社區和安全領域相關的最新消息，可以很好的規避。

第二個是應用本身帶來的滲透或者是提權的風險，業務部署在K8s之上，應用的漏洞可能造成容器越權或者容器逃逸之類的風險。

借助惡意容器進行攻擊也比較常見，在使用容器的過程種主要會面臨以下風險：

1. 使用了不受信任的鏡像倉庫或者是使用了被篡改的容器鏡像會導致惡意代碼被執行。

2. 容器執行惡意代碼存在提權或者逃逸的風險。

3. 即使容器運行時足夠安全，無法提權或逃逸，內部暴露的服務也容易成為被攻擊的點，造成數據被惡意訪問。

K8s集群的規模變大，運維人員與終端用戶也會變多，安全憑證的泄露，會對整個集群的安全造成威脅。

即使集群保護的非常好，在安全憑證沒有泄漏的情況下，來自內部成員的惡意攻擊也難以規避，即使是在測試環境也需要一定程度的租戶隔離，避免來自內部的攻擊、對數據的惡意訪問。

2 K8s安全機制

在K8s社區，安全問題的關注度是非常高的，在 K8s的設計中，各組件都有安全相關的特性。在API認證層面，控制平面中各個組件之間，需要開啟mTLS進行組件之間的互認證。 

K8s 也支持豐富的認證、訪問控制的機制，通常我們會借助 RBAC 對用戶的權限進行限制。

K8s 還提供了針對容器能力的限制機制，我們可以通過Security Context 去限制容器運行時的用戶、用戶組，對容器特權進行限制。

K8s中Pod Security Policy 可以為集群應用安全策略，但是這個特性會在1.25 之后被后面提到的pod security admission webhook 替代。這是K8s提供的安全策略機制，非常建議大家去深入了解。

我們還可以用到Resource Quota 結合 request、limit 限制容器的資源用量，盡可能的利用 linux提供的安全特性，針對網絡、cpu、內存等資源進行用量的限制。Limit Range 可以幫助我們為 Pod 設置默認的資源限制。

除此之外，還可以針對K8s集群網絡進行劃分，通過network policy來支持網絡隔離策略，設置黑名單或者白名單，為 namespace去分配一獨立的IP池。

我們可以借助K8s節點調度策略、污點管理，node selector等機制去限制容器能夠調度的節點，實現一定程度的物理隔離。

K8s還有一些和安全相關的內容，一個是審計日志，需要在kube-apiserver中進行開啟。然后是Pod Security Admission Webhook，這將是一個新的特性，幫助我們為集群應用安全策略。最后就是和數據安全相關，我們可以借助KMS來加密etcd中的數據，在容器運行時進行解密。

3 K8s安全最佳實踐

K8s安全最佳實踐，大部分都是來自于社區用戶和我們實際生產中環境中的經驗總結。

上圖是K8s社區的對云原生安全的安全總結，在云原生中主要分四個比較重要的層級：代碼安全、容器安全，K8s集群安全和云平臺、數據中心的安全。

針對這四個層面的安全問題，有不同的解決策略。

代碼安全往往可以通過以下方式進行應對，比如說應用之間的通訊，盡量使用TLS或mTLS，保證數據的加密傳輸。即使集群中大部分都是可信的環境，TLS 帶來的性能損耗我認為也是在可以承受的范圍之內。

針對代碼安全的增強，通常需要我們在在CI或CD過程中對代碼進行掃描，對容器鏡像進行掃描，對應用安全進行掃描，即使很多工具會存在誤報的情況，但在大規模的項目中這些步驟是必不可少的。

容器安全方面，我們建議盡可能的使用可信的基礎鏡像，除此之外，盡可能去刪掉不必要的二進制，避免基礎鏡像中操作系統漏洞帶來的影響。

在容器運行的過程中盡可能的使用非root用戶，除非是有特定的數據讀寫要求，可能會有一些問題。

第一集群安全

K8s 集群安全層面的建議，首先我們需要整理集群中所有關鍵組件的通訊矩陣，要知道哪些組件會用到哪些端口，比如說K8s控制平面常用的10250,6443端口等。對系統組件所用到的端口進行合理的管控，通過防火墻來提供最基礎的保障。

第二數據安全

在 K8s 集群中我們可以實現或接入已有的 KMS 服務，對 etcd 中的數據進行加密，在etcd數據泄漏的情況下也可以保證集群中 secret 數據的安全。

第三網絡安全

在K8s中我們可以借助Network Policy實現網絡隔離，常用的網絡插件 calico 和 Cilium 都可以很好的支持。不要開放不必要的端口，不僅是不對外開放端口甚至對于容器內部暴露的端口也要盡可能的去屏蔽。

第四針對所部署的應用安全

盡可能的為每一個部署到K8s的容器配置Security Context，限制容器內的運行用戶和容器特權，禁止其直接讀取或讀寫整個宿主機的網絡和文件。再就是K8s針對安全策略的的增強，我們可以利用一些安全策略管理工具如 Gatekeeper，為整個集群運用一些安全策略以抵抗風險。

第五可觀測性部分

不論是限制節點調度，還是配置網絡隔離策略等，這些都是以很被動的方式主動進行防御。在復雜的分布式容器化環境中數據的可見性降低，借助可觀測性工具，我們就可以及時的發現集群中異常，比如異常流量、異常的日志、異常的API訪問等，這些對整個系統安全來說顯得尤為重要。借助可觀測性工具，無論是監控數據還是異常日志，都可以幫助我們在第一時間去發現問題，我們可以設置合理的告警策略進行防御。

第六安全策略管理

K8s集群安全策略，除了在使用過程中規范對使用者的要求，比如限制不可信的鏡像倉庫、特權容器、hostPath掛載，也可以借助Gatekeeper這類安全策略管理工具進行主動的攔截。

KubeSphere中的安全增強

KubeSphere 是一個構建在 K8s 之上的容器管理平臺，我們針對 K8s 安全問題提供了以下增強：

1、借助可觀測性組件增強異常的感知能力。借助日志、監控數據結合告警策略來提高異常感知的能力，增加數據的能見度。

2、支持Network Policy實現網絡隔離，支持 IP 池的管理。

3、支持接入Kata Containers等更安全的運行時。

4、KubeSphere社區中開源的KubeEye，是一個可以實現集群自動巡檢的小工具，可以幫助我們掃描集群中存在的安全風險、不合理的配置等。

5、KubeSphere提供了Gatekeeper的集成，并計劃提供可視化的管理界面，實現安全策略的管理。

6、在DevOps流水線中我們可以集成代碼、鏡像等安全掃描工具。

KubeSphere 是在 Kubernetes 之上構建的面向云原生應用的分布式操作系統，完全開源，支持多云與多集群管理，提供全棧的 IT 自動化運維能力，簡化企業的 DevOps 工作流。它的架構可以非常方便地使第三方應用與云原生生態組件進行即插即用 (plug-and-play) 的集成。

作為全棧的多租戶容器平臺，KubeSphere 提供了運維友好的向導式操作界面，幫助企業快速構建一個強大和功能豐富的容器云平臺。

KubeSphere 為用戶提供構建企業級 Kubernetes 環境所需的多項功能，例如多云與多集群管理、Kubernetes 資源管理、DevOps、應用生命周期管理、微服務治理（服務網格）、日志查詢與收集、服務與網絡、多租戶管理、監控告警、事件與審計查詢、存儲管理、訪問權限控制、GPU 支持、網絡策略、鏡像倉庫管理以及安全管理等。