• / 7
  • 下載費用:30 金幣  

一種基于HADOOP框架的分布式文件監控系統.pdf

關 鍵 詞:
一種 基于 HADOOP 框架 分布式 文件 監控 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201310621705.0

申請日:

2013.11.30

公開號:

CN103678521A

公開日:

2014.03.26

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20131130|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 電子科技大學
發明人: 董樂; 林智煜; 封寧; 謝山山
地址: 611731 四川省成都市高新區(西區)西源大道2006號
優先權:
專利代理機構: 成都華典專利事務所(普通合伙) 51223 代理人: 徐豐;楊保剛
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201310621705.0

授權公告號:

||||||

法律狀態公告日:

2016.08.17|||2014.04.23|||2014.03.26

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公開了一種基于Hadoop框架的分布式文件監控系統,涉及圖像數據處理技術領域,包括Hadoop集群和Client端,所述Hadoop集群中包括一個NameNode節點模塊、一個NameNode代理模塊、至少一個DataNode節點模塊、一個含有配置文件和調度算法的匹配模塊以及響應算法模塊;所述NameNode代理模塊接收Client端發來的HadoopClientProcotol接口中的函數信息,并轉發該函數信息給NameNode節點模塊,同時獲取配置文件中配置的信息;本發明中的NameNode代理模塊可獲取所有的請求和消息,實現了對分布式文件系統的完全監控,并通過后續響應算法支持監控的同時做出處理。

權利要求書

權利要求書
1.   一種基于Hadoop框架的分布式文件監控系統,其特征在于,包括Hadoop集群和Client端,所述Hadoop集群中包括一個NameNode節點模塊、一個NameNode代理模塊、至少一個DataNode節點模塊、一個含有配置文件和調度算法的匹配模塊以及響應算法模塊;所述NameNode代理模塊接收Client端發來的Hadoop ClientProcotol接口中的函數信息,并轉發該函數信息給NameNode節點模塊,同時獲取配置文件中配置的信息;NameNode節點模塊通過Hadoop自帶的心跳機制管理DataNode節點模塊,DataNode節點模塊負責存儲和計算;所述匹配模塊將NameNode代理模塊發來的參數與配置文件中的參數進行比對,若匹配成功則調用配置文件中對應的算法。

2.  根據權利要求1所述的基于Hadoop框架的分布式文件監控系統,其特征在于,所述NameNode代理模塊連接設置在Client端與NameNode之間,獲取所有從Client端向NameNode發送的請求和消息,并向NameNode節點模塊和匹配模塊進行轉發。

說明書

說明書一種基于Hadoop框架的分布式文件監控系統
技術領域
本發明涉及圖像數據處理技術領域,具體涉及一種云計算領域中基于Hadoop框架的分布式文件監控系統。
背景技術
目前,隨著云計算概念的普及,大數據處理也開始為人所重視,一些大公司也開始了這方面的研究,主要集中在Hadoop開發、軟件、子項目以及相關硬件;下一代數據倉庫以及相關硬件;大數據分析平臺以及應用;適用于大數據的商業智能、數據挖掘和數據虛擬化平臺以及應用;適用于大數據的數據集成平臺以及工具。
Hadoop Map-Reduce平臺作為Map-Reduce架構的開源實現,主要用于大規模數據集的并行計算,它架構簡單,對數據密集型應用能夠有效支持,因此近幾年在國內外的海量數據處理領域被大量使用,如Facebook,Amazon,淘寶等。
Hadoop作為一個分布式框架,可以分布式的操縱大量數據,在海量數據處理上具備很多優勢:
1. 高容錯性:從設計上HDFS 已經假設了各服務器節點可能宕機,或者網絡可能分割。這些問題會導致某些機器不可用。Hadoop 通過如下手段實現了高容錯性:心跳檢測和文件復制; 數據完整性檢測;元數據多源備份及Log 機制; 集群均衡。
2. 高伸縮性:Hadoop 集群可以從一臺機器擴大到上千臺機器。具備很強的應對業務變化的能力;這里的業務變化可以是幾個小時之內業務量從波峰到波谷之間的轉換,也可以是中長期的業務增長或者變化。
3. 高成熟性:業界多家傳統IT 巨頭都在Hadoop 上工作,將此系統打磨得相當成熟穩定。基于Hadoop 的應用,無須擔憂Hadoop 本身的穩定性。而且有很多相關的基于Hadoop 的套件可以使用例如HBase、Hive、Zookeeper 等等都可以基于Hadoop 或者結合Hadoop 展開運用。
針對文件系統的監控一般有三個主要的問題:一是如何進行有效的監控;二是在有效監控的前提下還能基本不影響分布式系統的運行;三是監控之后如何處理所得到的信息。如何對Hadoop的分布式文件系統進行有效的監控在Hadoop應用領域還是一個空白。
發明內容
針對上述現有技術,本發明的目的在于提供一種基于Hadoop框架的分布式文件監控系統,克服原有Hadoop架構環境下,對于分布式文件系統監控缺失的不足,實現對Hadoop分布式文件系統的監控。
為了解決上述技術問題,本發明采用如下技術方案:
一種基于Hadoop框架的分布式文件監控系統,其特征在于,包括Hadoop集群和Client端,所述Hadoop集群中包括一個NameNode節點模塊、一個NameNode代理模塊、至少一個DataNode節點模塊、一個含有配置文件和調度算法的匹配模塊以及響應算法模塊;所述NameNode代理模塊接收Client端發來的Hadoop ClientProcotol接口中的函數信息,并轉發該函數信息給NameNode節點模塊,同時獲取配置文件中配置的信息;NameNode節點模塊通過Hadoop自帶的心跳機制管理DataNode節點模塊,DataNode節點模塊負責存儲和計算;所述匹配模塊將NameNode代理模塊發來的參數與配置文件中的參數進行比對,若匹配成功則調用配置文件中對應的算法。
所述NameNode代理模塊連接設置在Client端與NameNode之間,獲取所有從Client端向NameNode發送的請求和消息,并向NameNode節點模塊和匹配模塊進行轉發。
本發明的工作原理為:首先Client的所有操作均會向NameNode發送請求和消息,新加入的NameNode代理取代了原來NameNode的角色,獲取從Client發來的請求和消息。然后NameNode代理把獲取到的請求和消息轉發給NameNode和匹配模塊。NameNode收到這些消息就可以對DataNode發出指令,DataNode根據這些指令可以進行添加文件,刪除文件等操作。接著匹配模塊會讀取配置文件中的參數,與NameNode代理發來的消息進行匹配。匹配模塊通過多線程的方式來保證不影響系統原本的操作。最后如果匹配成功將會啟動配置文件中配置的算法。這些算法都是事前打包成jar文件,直接使用Hadoop shell命令即可執行。
與現有技術相比,本發明具有以下有益效果:
一、 由于NameNode代理獲取了所有的請求和消息,因此可以認為實現了對分布式文件系統的完全監控;
二、利用多線程,在監控的同時不影響原系統;
三、通過后續響應算法支持監控的同時做出處理。
附圖說明
圖1為本發明的整體框架圖;
圖2為匹配模塊結構圖;
圖3為部分實驗結果。
具體實施方式
下面將結合附圖及具體實施方式對本發明作進一步的描述。
一種基于Hadoop框架的分布式文件監控系統,包括Hadoop集群和Client端,所述Hadoop集群中包括一個NameNode節點模塊、一個NameNode代理模塊、至少一個DataNode節點模塊、一個含有配置文件和調度算法的匹配模塊以及響應算法模塊;所述NameNode代理模塊接收Client端發來的Hadoop ClientProcotol接口中的函數信息,并轉發該函數信息給NameNode節點模塊,同時獲取配置文件中配置的信息;NameNode節點模塊通過Hadoop自帶的心跳機制管理DataNode節點模塊,DataNode節點模塊負責存儲和計算;所述匹配模塊將NameNode代理模塊發來的參數與配置文件中的參數進行比對,若匹配成功則調用配置文件中對應的算法。所述NameNode代理模塊連接設置在Client端與NameNode之間,用來獲取所有從Client端向NameNode發送的請求和消息,并向NameNode節點模塊和匹配模塊進行轉發。
本發明的工作流程為:步驟一、將Client端的所有操作均會向NameNode節點模塊發送請求和消息,新加入的NameNode代理模塊取代了原來NameNode的角色,獲取從Client發來的請求和消息。步驟二、NameNode代理模塊把獲取到的請求和消息轉發給NameNode和匹配模塊;NameNode收到這些消息就可以對DataNode發出指令,DataNode根據這些指令可以進行添加文件,刪除文件等操作。步驟三、匹配模塊會讀取配置文件中的參數,與NameNode代理發來的消息進行匹配,匹配模塊通過多線程的方式來保證不影響系統原本的操作。步驟四、最后如果匹配成功將會啟動配置文件中配置的算法。這些算法都是事前打包成jar文件,直接使用Hadoop shell命令即可執行。
為了驗證本發明的效果,我們在Hadoop上實現了整個設計,響應算法使用圖像處理領域的Harris角點檢測算法。輸入200張圖片,配置文件如下所示:
<configuration>
<property>
<name>Dir</name>
<value>/image-test</value>
</property>
<property>
<name>image-format</name>
<value>jpeg</value>
</property>
<property>
<name>algorithm</name>
<value>Harris</value>
</property>
</configuration>
本發明的實驗結果如圖3所示。對上傳的200張圖片進行Harris算法操作,橫坐標為完成率,縱坐標為完成時間。從圖中看出,結果為線性增長,呈現出了很好的穩定性。

關于本文
本文標題:一種基于HADOOP框架的分布式文件監控系統.pdf
鏈接地址:http://www.pqsozv.live/p-6180882.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
钻石光影