蘇州其然軟件開發(fā)培訓(xùn)

大數(shù)據(jù)核心知識(shí)

Hadoop基礎(chǔ)

Hadoop1介紹

hadoop1架構(gòu)

hadoop2架構(gòu)（對(duì)比hadoop1）

hadoop2環(huán)境搭建

HDFS操作

yarn操作

Hadoop應(yīng)用

Hive數(shù)據(jù)倉(cāng)庫(kù)

zookeeper系統(tǒng)服務(wù)

HBase非關(guān)系型數(shù)據(jù)庫(kù)

Sqoop數(shù)據(jù)庫(kù)抽取工具

Flume日志抽取工具

Spark基礎(chǔ)

環(huán)境搭建

Spark平臺(tái)介紹

RDD彈性分布式數(shù)據(jù)集

Scala編程

Spark應(yīng)用

Spark-SQL組件

DataFrame組件

課程優(yōu)勢(shì)

1.真實(shí)的企業(yè)項(xiàng)目；

2.目前企業(yè)中應(yīng)用廣泛的技術(shù)路線；

3.部分Spark源碼剖析，從源碼層面提升問題解決能力。

4.從hadoop1到hadoop2機(jī)制原理詳細(xì)解說；

5.生產(chǎn)環(huán)境hadoop集群調(diào)優(yōu)經(jīng)驗(yàn)；

6.企業(yè)真實(shí)項(xiàng)目實(shí)戰(zhàn)；

本階段學(xué)習(xí)目標(biāo)

1.了解hadoop機(jī)制原理 ；

2.了解hadoop集群搭建過程；

3.了解Hdfs API使用以及mr編程模型；

4.了解hive、hbase、sqoop、flume等組件的使用方法；

5.Spark平臺(tái)的優(yōu)勢(shì)以及Spark集群的搭建過程；

6.Scala程序設(shè)計(jì)基礎(chǔ)；

7.Spark-SQL和DataFrame API詳解。

本階段學(xué)習(xí)效果

1.了解hadoop集群的搭建過程；

2.能夠**mr和hive來實(shí)現(xiàn)簡(jiǎn)單的數(shù)據(jù)清洗的業(yè)務(wù)需求；

3.能夠了解數(shù)據(jù)的抽取，轉(zhuǎn)換，清洗，建模，入庫(kù)過程；

4.掌握Spark集群的搭建；

5.掌握函數(shù)式編程思想，能夠根據(jù)業(yè)務(wù)需求編寫高質(zhì)量的Scala程序；

6.掌握大規(guī)模離線數(shù)據(jù)的計(jì)算、分析能力。