大數(shù)據(jù)分析面試題庫—Hadoop開發(fā)人員面試題

　　破解Hadoop開發(fā)人員面試并不容易，但是準備工作可以完成所有工作。如果您是新手，請學習Hadoop概念并進行適當?shù)臏蕚洹Σ煌奈募到y(tǒng)，Hadoop版本，命令，系統(tǒng)安全性等都有很好的了解。以下幾個問題可以幫助您通過Hadoop開發(fā)人員面試。
 

31. Hadoop中有哪些不同的配置文件?
 

　　答： Hadoop中的不同配置文件是：

　　core-site.xml –此配置文件包含Hadoop核心配置設置，例如I / O設置，這對于MapReduce和HDFS非常常見。它使用主機名端口。

　　mapred-site.xml –此配置文件通過設置mapreduce.framework.name為MapReduce指定框架名稱

　　hdfs-site.xml –此配置文件包含HDFS守護程序配置設置。它還在HDFS上指定默認阻止權限和復制檢查。

　　yarn-site.xml –此配置文件指定ResourceManager和NodeManager的配置設置。
 

32. Hadoop 2和Hadoop 3有什么區(qū)別?
 

　　答：以下是Hadoop 2和Hadoop 3之間的區(qū)別

33.如何在Hadoop中實現(xiàn)安全性?
 

　　答： Kerberos用于在Hadoop中實現(xiàn)安全性。使用Kerberos時，共有3個步驟可以高層訪問服務。每個步驟都涉及與服務器的消息交換。

　　身份驗證–第一步涉及到客戶端對身份驗證服務器的身份驗證，然后向客戶端提供帶時間戳的TGT(票證授予票證)。

　　授權–在此步驟中，客戶端使用接收到的TGT向TGS(票證授予服務器)請求服務票證。

　　服務請求–這是在Hadoop中實現(xiàn)安全性的最后一步。然后，客戶端使用服務票證向服務器進行身份驗證。
 

34.什么是商品硬件?
 

　　答：商品硬件是一種可用性較低，質量較低的低成本系統(tǒng)。商品硬件由RAM組成，因為它執(zhí)行許多需要RAM才能執(zhí)行的服務。一個不需要高端硬件配置或超級計算機即可運行Hadoop，它可以在任何通用硬件上運行。
 

35. NFS與HDFS有何不同?
 

　　答：有許多分布式文件系統(tǒng)以它們自己的方式工作。NFS(網(wǎng)絡文件系統(tǒng))是最古老和流行的分布式文件存儲系統(tǒng)之一，而HDFS(Hadoop分布式文件系統(tǒng))是最近使用和流行的處理大數(shù)據(jù)的系統(tǒng)。 NFS和HDFS之間的主要區(qū)別如下

36. Hadoop MapReduce如何工作?
 

　　MapReduce操作分為兩個階段。

　　映射階段–在此階段，輸入數(shù)據(jù)由映射任務拆分。地圖任務并行運行。這些拆分數(shù)據(jù)用于分析目的。

　　減少階段-在此階段，從整個集合中匯總相似的拆分數(shù)據(jù)并顯示結果。
 

37.什么是MapReduce?您運行MapReduce程序使用的語法是什么?
 

　　MapReduce是Hadoop中的一種編程模型，用于在通常稱為HDFS的計算機集群上處理大型數(shù)據(jù)集。它是一個并行編程模型。

　　運行MapReduce程序的語法為– hadoop_jar_file.jar / input_path / output_path 。
 

38. NameNode，Task Tracker和Job Tracker的端口號是什么?
 

　　1)NameNode –端口50070

　　2)任務跟蹤器–端口50060

　　3)作業(yè)跟蹤器–端口50030
 

39. HDFS中文件或目錄級別的文件權限有哪些不同?
 

　　Hadoop分布式文件系統(tǒng)(HDFS)對文件和目錄使用特定的權限模型。HDFS中使用了以下用戶級別：

　　1)所有者

　　2)組

　　3)其他。

　　對于上述每個用戶，以下權限均適用：

　　1)讀(r)

　　2)寫(w)

　　3)執(zhí)行(x)。

　　上面提到的權限對文件和目錄的作用不同。

　　對于文件：

　　1)在[R 權限是用于讀取文件

　　2)該W¯¯ 許可是寫一個文件。

　　對于目錄：

　　1)在[R 權限列出內容的特定目錄。

　　2)該W¯¯ 權限創(chuàng)建或刪除一個目錄。

　　3)該X 許可是用于訪問子目錄。
 

40. Mapper的基本參數(shù)是什么?
 

　　1)映射器的基本參數(shù)是

　　2)長寫和文本

　　3)文字和可寫