大數(shù)據(jù)分析培訓(xùn)課程大綱

1) 基本介紹

2) vm docker 對比

3) docker基本架構(gòu)介紹

4) unfs cgroup namespace

5) 進程虛擬化 輕量級虛擬化

6) docker 安裝

7) docker 鏡像制作

8) docker 常用命令

9) docker 鏡像遷移

10) docker pipework【i.openvswitch】

11) docker weave

1) 虛擬化介紹，虛擬化適用場景等等

2) Qemu Libvirt & KVM

3) 安裝KVM, Qemu, Libvirt

4) QEMU-KVM: 安裝第1個能上網(wǎng)的虛擬機

5) Kvm虛擬機 nat,網(wǎng)橋基本原理

6) kvm虛擬機克隆

7) kvm虛擬機vnc配置

8) kvm虛擬機擴展磁盤空間

9) Kvm快照

10) Kvm 遷移

11) Java,python,c語言編程控制kvm

12) 構(gòu)建自己的虛擬云平臺

1) openstack介紹和模塊基本原理分析

2) openstack多節(jié)點安裝部署【a.采用centos6.x系統(tǒng)】

3) Keystone基本原理

4) glance

5) Cinder

6) Swift

7) Neutron

8) Openstack api 二次開發(fā)

1) 介紹Python以及特點

2) Python的安裝

3) Python基本操作（注釋、邏輯、字符串使用等）

4) Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）

5) 使用Python進行批量重命名小例子

6) Python常見內(nèi)建函數(shù)

7) 更多Python函數(shù)及使用常見技巧

8) 異常

9) Python函數(shù)的參數(shù)講解

10) Python模塊的導(dǎo)入

11) Python中的類與繼承

12) 網(wǎng)絡(luò)爬蟲案例

13) 數(shù)據(jù)庫連接，以及pip安裝模塊

14) Mongodb基礎(chǔ)入門

15) 講解如何連接mongodb

16) Python的機器學(xué)習(xí)案例

1) scala解釋器、變量、常用數(shù)據(jù)類型等

2) scala的條件表達式、輸入輸出、循環(huán)等控制結(jié)構(gòu)

3) scala的函數(shù)、默認參數(shù)、變長參數(shù)等

4) scala的數(shù)組、變長數(shù)組、多維數(shù)組等

5) scala的映射、元組等操作

6) scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等

7) scala的對象、單例對象、伴生對象、擴展類、apply方法等

8) scala的包、引入、繼承等概念

9) scala的特質(zhì)

10) scala的操作符

11) scala的高階函數(shù)

12) scala的集合

13) scala數(shù)據(jù)庫連接

1) 1) Spark介紹

2) Spark應(yīng)用場景

3) Spark和Hadoop MR、Storm的比較和優(yōu)勢

4) RDD

5) Transformation

6) Action

7) Spark計算PageRank

8) Lineage

9) Spark模型簡介

10) Spark緩存策略和容錯處理

11) 寬依賴與窄依賴

12) Spark配置講解

13) Spark集群搭建

14) 集群搭建常見問題解決

15) Spark原理核心組件和常用RDD

16) 數(shù)據(jù)本地性

17) 任務(wù)調(diào)度

18) DAGScheduler

19) TaskScheduler

20) Spark源碼解讀

21) 性能調(diào)優(yōu)

22) Spark和Hadoop2.x整合：Spark on Yarn原理

1) Spark Streaming：數(shù)據(jù)源和DStream

2) 無狀態(tài)transformation與有狀態(tài)transformation

3) Streaming Window的操作

4) sparksql 編程實戰(zhàn)

5) spark的多語言操作

6) spark新版本的新特性

1) 介紹

a) Spark MLlib組件介紹

b) 基本數(shù)據(jù)類型

2) 回歸算法

c) 廣義線性模型

d) 邏輯回歸

3) 分類算法

e) 樸素貝葉斯

f) 決策樹

g) 隨機森林

4) 第四章 推薦系統(tǒng)

5) 第五章 聚類

6) spark新版本的新特性

h) Kmeans

i) Sparse kmeans

j) Kmeans

k) Kmeans II

l) Streaming kmeans

m) Gaussian Mixture Model

a) 二分圖

b) 概述

c) 構(gòu)造圖

d) 屬性圖

e) PageRank

項目技術(shù)架構(gòu)體系：

a) 實時流處理 Kafka，Spark Streaming

b) 分布式運算 Hadoop，Spark

c) 數(shù)據(jù)庫 Hbase，Redis

d) 機器學(xué)習(xí) Spark Mllib

e) 前臺web展示數(shù)據(jù) Struts2，echart

f) 分布式平臺 Hadoop，Spark

g) 數(shù)據(jù)清洗 Hive

h) 數(shù)據(jù)分析 R RStudio

i) 推薦服務(wù) Dubbox

j) 規(guī)則過濾 Drools

k) 機器學(xué)習(xí) MLlib

1) kafka是什么

2) kafka體系結(jié)構(gòu)

3) kafka配置詳解

4) kafka的安裝

5) kafka的存儲策略

6) kafka分區(qū)特點

7) kafka的發(fā)布與訂閱

8) zookeeper協(xié)調(diào)管理

9) java編程操作kafka

10) scala編程操作kafka

11) flume 和kafka 的整合

12) Kafka 和storm 的整合

項目技術(shù)架構(gòu)體系：

1) Storm的基本概念

2) Storm的應(yīng)用場景

3) Storm和Hadoop的對比

4) Storm集群的安裝的linux環(huán)境準備

5) zookeeper集群搭建

6) Storm集群搭建

7) Storm配置文件配置項講解

8) 集群搭建常見問題解決

9) Storm常用組件和編程API：Topology、 Spout、Bolt

10) Storm分組策略(stream groupings)

11) 使用Strom開發(fā)一個WordCount例子

12) Storm程序本地模式debug、Storm程序遠程debug

13) Storm事物處理

14) Storm消息可靠性及容錯原理

15) Storm結(jié)合消息隊列Kafka：消息隊列基本概念(Producer、Consumer、Topic、Broker等)、消息隊列Kafka使用場景、Storm結(jié)合Kafka編程API

16) Storm Trident概念

17) Trident state 原理

18) Trident開發(fā)實例

19) Storm DRPC(分布式遠程調(diào)用)介紹

20) Storm DRPC實戰(zhàn)講解

21) Storm和Hadoop 2.x的整合：Storm on Yarn Storm開發(fā)實戰(zhàn)： Kafka Storm Hbase redis項目實戰(zhàn)，以及多個案例

項目技術(shù)架構(gòu)體系：Storm hbase kafka flume echarts

a) flume實時采集日志

b) kafka緩沖隊列

c) storm實時處理

d) Hbase dao存儲處理結(jié)果

e) 前端Web實時展示報表

1) R語言介紹，基本函數(shù)，數(shù)據(jù)類型

2) 線性回歸

3) 樸素貝葉斯聚類

4) 決策樹分類

5) k均值聚類

a) 離群點檢測

6) 關(guān)聯(lián)規(guī)則探索

7) 神經(jīng)網(wǎng)絡(luò)

1) 介紹為什么使用它,它的前景

a) 簡單介紹Mahout

b) 簡單介紹機器學(xué)習(xí)

c) 實例演示Mahout單機推薦程序

2) 配置安裝（hadoop2.x版本的）編譯安裝步驟說明

a) 命令行中測試運行協(xié)同過濾概念

3) 推薦

a) 講解基于用戶的協(xié)同過濾

b) 講解基于物品的協(xié)同過濾

4) 分類

a) 分類概念

b) 分類的應(yīng)用及Mahout分類優(yōu)勢

c) 分類和聚類、推薦的區(qū)別

d) 分類工作原理

e) 分類中概念術(shù)語

f) 分類項目工作流

g) 如何定義預(yù)測變量

h) 線性分類器的介紹，及貝葉斯分類器

i) 決策樹分類器的介紹，及隨機森林分類器

j) 如何使用貝葉斯分類器和隨機森林分類器的代碼展示

5) 聚類

a) 聚類概念

b) 聚類步驟流程

c) 聚類中的距離測度

d) 講解K-means聚類

e) K-means聚類算法展示

f) 聚類其他算法

g) 介紹TF-IDF

h) 歸一化

i) 微博聚類案例

項目技術(shù)架構(gòu)體系：

a) 分布式平臺 Hadoop，MapReduce

b) 數(shù)據(jù)采集 Flume

c) 數(shù)據(jù)清洗 ETL

d) 數(shù)據(jù)庫 Hbase，Redis

e) 機器學(xué)習(xí) Mahout