HDFS SecondaryNameNode CheckPoint流程示意圖

為什么需要CheckPoint？

NN和2NN工作機制：

思考：NameNode中的元數據是存儲在哪里的？

首先，我們做個假設，如果存儲在NameNode節點的磁盤中，因為經常需要進行隨機訪問，還有響應客戶請求，必然是效率過低。因此，元數據需要存放在內存中。但如果只存在內存中，一旦斷電，元數據丟失，整個集群就無法工作了。因此產生在磁盤中備份元數據的FsImage。

這樣又會帶來新的問題，當在內存中的元數據更新時，如果同時更新FsImage，就會導致效率過低，但如果不更新，就會發生一致性問題，一旦NameNode節點斷電，就會產生數據丟失。因此，引入Edits文件(只進行追加操作，效率很高)。每當元數據有更新或者添加元數據時，修改內存中的元數據并追加到Edits中。這樣，一旦NameNode節點斷電，可以通過FsImage和Edits的合并，合成元數據。

但是，如果長時間添加數據到Edits中，會導致該文件數據過大，效率降低，而且一旦斷電，恢復元數據需要的時間過長。因此，需要定期進行FsImage和Edits的合并，如果這個操作由NameNode節點完成，又會效率過低。因此，引入一個新的節點SecondaryNamenode，專門用于FsImage和Edits的合并。

CheckPoint示意圖：

文字：

1）第一階段：NameNode啟動

（1）第一次啟動NameNode格式化后，創建Fsimage和Edits文件。如果不是第一次啟動，直接加載編輯日志和鏡像文件到內存（此時并沒有塊信息，需要datanode上報）。

（2）客戶端對元數據進行增刪改的請求。

（3）NameNode記錄操作日志，更新滾動日志。

（4）NameNode在內存中對元數據進行增刪改。

2）第二階段：Secondary NameNode工作

（1）Secondary NameNode詢問NameNode是否需要CheckPoint。直接帶回NameNode是否檢查結果。

（2）Secondary NameNode請求執行CheckPoint。

（3）NameNode滾動正在寫的Edits日志。

（4）將滾動前的編輯日志和鏡像文件拷貝到Secondary NameNode。

（5）Secondary NameNode加載編輯日志和鏡像文件到內存，并合并。

（6）生成新的鏡像文件fsimage.chkpoint。

（7）拷貝fsimage.chkpoint到NameNode。

（8）NameNode將fsimage.chkpoint重新命名成fsimage。

CheckPoint時間設置：

[hdfs-default.xml]
通常情況下，SecondaryNameNode每隔一小時執行一次：
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

一分鐘檢查一次操作次數，3當操作次數達到1百萬時，SecondaryNameNode執行一次：
<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作動作次數</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分鐘檢查一次操作次數</description>
</property >

拓展：Fsimage和Edits概念

本文鏈接：https://blog.csdn.net/iCloser/article/details/109060028

智能推薦

淺談HDFS的fsimage、edit log與SecondaryNameNode

前言 HDFS SecondaryNameNode是干什么的？這是道經典的基礎面試題，筆者問過面試者很多次（當然也被面試官問過很多次）。從印象看，大約有一半的被面試者無法正確作答，給出的答案甚至有“ 不就是NameNode的熱備嘛”。本文來簡單聊聊相關的知識，為節省篇幅，將SecondaryNameNode簡稱SNN，NameNode簡稱NN。 NN與fsimage、ed...

HDFS(六)：NameNode&&SecondaryNameNode工作機制詳解

NameNode和Secondary NameNode負責管理整個文件系統的元數據，以及每一個路徑（文件）所對應的數據塊信息（目錄）。下面來看看它們的工作機制：流程詳解： 1.第一階段：namenode啟動（1）第一次啟動namenode格式化后，創建fsimage和edits文件。如果不是第一次啟動，直接加載編輯日志和鏡像文件到內存。（2）客戶端對元數據進行增刪改的請求（3）namen...

hadoop_hdfs SecondaryNameNode輔助管理FSImage與Edits原理

SecondaryNameNode輔助管理FSImage與Edits原理原理原理完成合并的是secondarynamenode，會請求namenode停止使用edits,暫時將新寫操作放入一個新的文件中（edits.new)。secondarynamenode從namenode中通過http get獲得edits，因為要和fsimage合并，所以也是通過http get 的方式把fsimag...

HDFS中NameNode、SecondaryNameNode和DataNode工作機制

1，NN和2NN的工作機制思考：NameNode中的元數據是存儲在哪里的？首先，我們做一個假設，如果存儲在NameNode節點的磁盤中，因為經常需要進行隨機訪問，還有相應客戶請求，必然是效率過低。因此元數據需要存放在內存中。但是如果只存放在內存中，一旦斷電，元數據丟失，整個集群就無法工作了。由此，產生了在磁盤中用于備份元數據的Fsimage。這...

HTML中常用操作關于：頁面跳轉，空格

1.頁面跳轉 2.空格的代替符...