大數(shù)據(jù)分析太難了學(xué)的想哭

　　隨著大數(shù)據(jù)熱潮的興起，越來(lái)越多的人群想要進(jìn)入大數(shù)據(jù)行業(yè)，尤其是對(duì)于沒(méi)有技術(shù)功底的人群來(lái)說(shuō)，一般會(huì)考慮報(bào)一些大數(shù)據(jù)培訓(xùn)班來(lái)進(jìn)行系統(tǒng)的學(xué)習(xí)，一段時(shí)間之后就忍不住吐槽，學(xué)大數(shù)據(jù)學(xué)得想哭。事實(shí)上，任何一門(mén)新技能的習(xí)得，肯定是需要付出努力的，尤其是在基礎(chǔ)薄弱的情況下，學(xué)習(xí)難度可想而知。

　　然而近來(lái)也會(huì)有這樣一種聲音在網(wǎng)上：大數(shù)據(jù)太難學(xué)了，學(xué)大數(shù)據(jù)學(xué)得想哭。其實(shí)學(xué)習(xí)本來(lái)就沒(méi)那么簡(jiǎn)單，但是如果努力了還學(xué)不好大數(shù)據(jù)，就應(yīng)該好好反思自己的學(xué)習(xí)方法是不是出了問(wèn)題。下面小編就帶大家看看，大數(shù)據(jù)真有這么難學(xué)嗎?
 

　　為什么覺(jué)得大數(shù)據(jù)難學(xué)?
 

　　不可否認(rèn)確實(shí)有一些人學(xué)大數(shù)據(jù)純粹是興趣使然，但是大多數(shù)人都是沖著大數(shù)據(jù)行業(yè)高薪資好前景去的。因此學(xué)習(xí)的出發(fā)點(diǎn)可能就過(guò)于功利和急于求成，當(dāng)然不是說(shuō)不能因?yàn)檫@個(gè)去學(xué)習(xí)，而是絕大多數(shù)人只是一時(shí)的頭腦發(fā)熱，并沒(méi)有考慮清楚怎樣去學(xué)習(xí)，也并沒(méi)有付出多少努力。最后浪費(fèi)了不少時(shí)間，甚至還有的人報(bào)了培訓(xùn)班浪費(fèi)了不少錢(qián)，后悔莫及地大呼：學(xué)大數(shù)據(jù)學(xué)得想哭!大數(shù)據(jù)真難學(xué)!大數(shù)據(jù)真有這么難學(xué)嗎?還是你根本就沒(méi)有下定決心努力去學(xué)習(xí)呢?希望大家在覺(jué)得學(xué)習(xí)很難的時(shí)候，問(wèn)一問(wèn)自己到底為此付出了多少努力，如果使用時(shí)是因?yàn)闆](méi)有花費(fèi)多少心血而沒(méi)學(xué)好，那就沒(méi)什么好抱怨的了。
 

　　這個(gè)時(shí)候，作為初學(xué)者，我們需要的就是擺正心態(tài)。大數(shù)據(jù)興起的時(shí)間不長(zhǎng)，但是熱度空前，長(zhǎng)遠(yuǎn)來(lái)看，大數(shù)據(jù)這門(mén)技能是值得花時(shí)間去學(xué)習(xí)和掌握的。在學(xué)習(xí)大數(shù)據(jù)之前，不妨先冷靜下來(lái)問(wèn)問(wèn)自己，對(duì)于大數(shù)據(jù)行業(yè)是否真的有足夠的興趣，能否靜下心來(lái)鉆研學(xué)習(xí)。
 

　　在決定學(xué)習(xí)大數(shù)據(jù)之后，對(duì)大數(shù)據(jù)課程相對(duì)駁雜的知識(shí)體系，要做好心理準(zhǔn)備。以學(xué)習(xí)大數(shù)據(jù)開(kāi)發(fā)來(lái)說(shuō)，不要將大數(shù)據(jù)開(kāi)發(fā)看做一門(mén)與java、python等相似的IT語(yǔ)言，事實(shí)上，大數(shù)據(jù)更像是一門(mén)技術(shù)，其中包含的內(nèi)容相對(duì)比較多。
 

　　正式開(kāi)始大數(shù)據(jù)學(xué)習(xí)之前，做一些前期的準(zhǔn)備，先購(gòu)買(mǎi)一些相關(guān)的書(shū)籍，從網(wǎng)上找一些相關(guān)的資料去，詳細(xì)了解究竟什么是大數(shù)據(jù)開(kāi)發(fā)，然后根據(jù)自己的實(shí)際情況確定是自學(xué)，還是參加大數(shù)據(jù)培訓(xùn)班來(lái)學(xué)習(xí)。
 

　　前期的準(zhǔn)備，要做到對(duì)于大數(shù)據(jù)的一些基本概念以及知識(shí)，有一定的了解。從java、linux、hadoop、hive、oozie、web、flume再到python、hbase、kafka、scala、spark，了解這些和大數(shù)據(jù)緊密相關(guān)的技術(shù)知識(shí)，對(duì)于后期的正式學(xué)習(xí)都是有好處的。
 

　　另外，網(wǎng)上各種交流學(xué)習(xí)的社群，也可以加入其中，和同樣對(duì)大數(shù)據(jù)感興趣的志同道合之士一起交流，一起學(xué)習(xí)，也能互相督促，大家一起學(xué)習(xí)進(jìn)步。有條件的話(huà)，可以結(jié)識(shí)一些前輩老師或者行業(yè)大牛，這對(duì)于大數(shù)據(jù)學(xué)習(xí)以及以后的職業(yè)生涯也是有幫助的。
 

　　當(dāng)你真正了解大數(shù)據(jù)這個(gè)行業(yè)的時(shí)候，才能更多的去理解并知道大數(shù)據(jù)的價(jià)值以及前景，也能更加堅(jiān)定克服困難。也許真的學(xué)大數(shù)據(jù)學(xué)得想哭，但是依然想要深入其中，這就是大數(shù)據(jù)的魅力。任何一門(mén)新技能的學(xué)習(xí)，都是需要付出時(shí)間和精力的，作為新興熱門(mén)的大數(shù)據(jù)行業(yè)更是如此。

 

　　另一種情況是努力了，但是還是學(xué)不好大數(shù)據(jù)，這種很明顯是學(xué)習(xí)方法不科學(xué)。不少自學(xué)大數(shù)據(jù)的小伙伴都有這樣的經(jīng)歷，一開(kāi)始什么都不懂，然后在百度到處搜索學(xué)習(xí)教程，緩存了各種各樣的免費(fèi)視頻資料，今天看這個(gè)老師的，明天看那個(gè)老師的，最后好像什么都懂，但是又好像什么都弄不清楚。這就是因?yàn)闆](méi)有老師的指導(dǎo)，又缺乏學(xué)習(xí)的具體規(guī)劃，沒(méi)有系統(tǒng)全面的掌握知識(shí)，盲目的學(xué)習(xí)導(dǎo)致努力的方向根本就錯(cuò)了。因此其強(qiáng)烈建議那些本來(lái)就缺乏基礎(chǔ)以及自律能力差的小伙伴，學(xué)習(xí)大數(shù)據(jù)一定要報(bào)培訓(xùn)班，只用花些錢(qián)就可以少許多彎路。

　　大數(shù)據(jù)需要學(xué)什么?
 

　　這里你可以參考《大數(shù)據(jù)分析培訓(xùn)課程內(nèi)容》和《大數(shù)據(jù)分析培訓(xùn)課程大綱》

　　Hadoop：(common、HDFS、MapReduce、YARN)重點(diǎn)中的重點(diǎn)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS 和 MapReduce，Hadoop的思想：處理數(shù)據(jù)的思想。Hadoop用Java編寫(xiě)的開(kāi)源軟件框架，用于分布式存儲(chǔ)，并對(duì)非常大的數(shù)據(jù)集進(jìn)行分布式處理,用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序，充分利用集群進(jìn)行高速運(yùn)算和存儲(chǔ)。

　　HDFS：Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡(jiǎn)稱(chēng)HDFS。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce則為海量的數(shù)據(jù)提供了計(jì)算。

　　NameNode：NameNode是一個(gè)通常在HDFS實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件，它負(fù)責(zé)管理文件系統(tǒng)名稱(chēng)空間和控制外部客戶(hù)機(jī)的訪(fǎng)問(wèn)。NameNode 決定是否將文件映射到

　　DataNode:DataNode也是一個(gè)通常在HDFS實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。Hadoop 集群包含一個(gè) NameNode 和大量 DataNode。DataNode 通常以機(jī)架的形式組織，機(jī)架通過(guò)一個(gè)交換機(jī)將所有系統(tǒng)連接起來(lái)。Hadoop 的一個(gè)假設(shè)是：機(jī)架內(nèi)部節(jié)點(diǎn)之間的傳輸速度快于機(jī)架間節(jié)點(diǎn)的傳輸速度。

　　MapReduce：MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算

　　Hive(MPP架構(gòu)):大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)寫(xiě)SQL對(duì)數(shù)據(jù)進(jìn)行操作，類(lèi)似于mysql數(shù)據(jù)庫(kù)中的sql。

　　HBase基于HDFS的NOSQL數(shù)據(jù)庫(kù)，面向列的存儲(chǔ)。

　　Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。

　　大數(shù)據(jù)學(xué)習(xí)路線(xiàn)規(guī)劃：
 

　　以AAA教育的大數(shù)據(jù)分析課程為例，課程學(xué)習(xí)分成七個(gè)階段，從零基礎(chǔ)入門(mén)到能力進(jìn)階提升，循序漸進(jìn)，即使是大數(shù)據(jù)小白也可以學(xué)好大數(shù)據(jù)后馬上就業(yè)。
 

　　階段一 大數(shù)據(jù)基礎(chǔ)增強(qiáng)
 

　　本階段重點(diǎn)講解 Linux 操作基礎(chǔ)、 Shell 編程、 Zookeeper 集群和 hadoop 集群環(huán)境準(zhǔn)備等內(nèi)容，可以幫助沒(méi)有 Linux 基礎(chǔ) 或者 Linux 基礎(chǔ)薄弱的學(xué)員， 達(dá)到熟練使用

　　Linux、熟練安裝 Linux 上的軟件，熟悉負(fù)載均衡、高可靠等集群相關(guān)概念，搭建互聯(lián)網(wǎng)高并發(fā)、高可靠的服務(wù)架構(gòu)， 為大數(shù)據(jù)內(nèi)容的深入學(xué)習(xí)做好充足的準(zhǔn)備。
 

　　階段二 大數(shù)據(jù) Hadoop 離線(xiàn)分布式系統(tǒng)
 

　　大數(shù)據(jù) Hadoop 離線(xiàn)分布式系統(tǒng)
 

　　階段三 大數(shù)據(jù) Storm 實(shí)時(shí)計(jì)算系統(tǒng)
 

　　本階段通過(guò)全面 Storm 內(nèi)部機(jī)制、原理以及 strom 實(shí)時(shí)看板案例的深入講解和練習(xí)，讓學(xué)習(xí)者能夠擁有完整項(xiàng)目開(kāi)發(fā)思路和架構(gòu)設(shè)計(jì)，掌握從數(shù)據(jù)采集到實(shí)時(shí)計(jì)算到數(shù)據(jù)存儲(chǔ)再到前臺(tái)展示的編程能力
 

　　階段四 大數(shù)據(jù) Storm 項(xiàng)目實(shí)戰(zhàn)
 

　　實(shí)時(shí)采集線(xiàn)上業(yè)務(wù)系統(tǒng)日志，對(duì)接 Storm 流式計(jì)算平臺(tái)實(shí)時(shí)分析，出現(xiàn)異常信息，調(diào)用告警業(yè)務(wù)通知相關(guān)負(fù)責(zé)人，達(dá)到監(jiān) 控業(yè)務(wù)系統(tǒng)運(yùn)行的功能， 基于日志進(jìn)行監(jiān)控，監(jiān)控需要一定規(guī)則，對(duì)觸發(fā)監(jiān)控規(guī)則的日志信息通過(guò)短信和郵件進(jìn)行告警。
 

　　階段五 大數(shù)據(jù) Spark 內(nèi)存計(jì)算系統(tǒng)
 

　　Spark 可以用于批處理、交互式查詢(xún)(Spark SQL) 和實(shí)時(shí)流處理(Spark Streaming) 等相關(guān)內(nèi)容， 本階段通過(guò)講解 Spark 一站式處理框架，讓學(xué)習(xí)者掌握 Spark 相關(guān)的開(kāi)發(fā)技術(shù)，達(dá)到能夠勝任 Spark 相關(guān)工作的能力。
 

　　階段六 大數(shù)據(jù) Spark 項(xiàng)目實(shí)戰(zhàn)
 

　　用戶(hù)畫(huà)像是根據(jù)用戶(hù)基本屬性、社會(huì)屬性、生活習(xí)慣和消費(fèi)行業(yè)等信息而抽象出的一個(gè)標(biāo)簽化的用戶(hù)模型。構(gòu)建用戶(hù)畫(huà)像的核心工作即是給用戶(hù)貼“標(biāo)簽”，而標(biāo)簽是通過(guò)對(duì)用戶(hù)信息分析而來(lái)的高度精煉的特征標(biāo)識(shí)。

　　最后，小編想說(shuō)的是，在大家學(xué)大數(shù)據(jù)學(xué)得想哭的時(shí)候，認(rèn)認(rèn)真真反思一下，自己真的足夠努力嗎?自己的學(xué)習(xí)方法真的沒(méi)問(wèn)題嗎?只要解決了這兩個(gè)問(wèn)題大家就會(huì)發(fā)現(xiàn)，大數(shù)據(jù)真沒(méi)那么難學(xué)。