為了實現文件的可靠存儲 HDFS 做出了哪些設計

為了實現文件的可靠存儲HDFS做出了如下設計：

• 冗余存儲：在HDFS中大文件被存儲為一系列的數據塊，每個數據塊被復制成若干個副本，存儲在不同的數據節點上以保證系統的容錯性。

• 錯誤恢復：每個數據節點都周期性地向名字節點發送心跳數據包，當網絡出現故障或者數據節點出現故障時，心跳信息無法發出，名字節點由此判斷故障出現，此時名字節點會標記最近沒有心跳的數據節點宕機，并不再向它們轉發任何新的I/O請求，當數據節點宕機導致數據塊復制因子低于指定位時，名字節點會復制這些數據塊。

• 集群重配平：當某個數據節點的剩余磁盤空間小于極限值時，HDFS自動將一部分數據從此數據節點移動到另一個節點，同樣，當系統對某個文件的訪問很大時，HDFS會動態增加該文件的復制數，以平衡集群的訪問。

• 數據完整性檢查：HDFS客戶端從數據節點讀取數據后，將對數據進行校驗和檢查。

• 元數據磁盤失效：為應對名字節點失效導致的系統故障，HDFS對名字節點的關鍵數據，如文件系統鏡像和編輯日志進行了多份備份，以便在名字節點宕機時快速恢復到其他機器。

回答所涉及的環境：聯想天逸510S、Windows 10。