蘇州其然軟件開(kāi)發(fā)培訓(xùn)

黃 凱高級(jí)講師

多年移動(dòng)互聯(lián)網(wǎng)開(kāi)發(fā)經(jīng)驗(yàn)，精通Android與iOS開(kāi)發(fā)，對(duì)JavaEE等后臺(tái)技術(shù)也 有所研究。尤其精通Android平臺(tái)的開(kāi)發(fā)，對(duì)Android平臺(tái)下的性能優(yōu)化有極其豐富的經(jīng)驗(yàn)。 曾就職于酷狗音樂(lè)擔(dān)任高級(jí)Android軟件工程師與Team Leader一職，帶領(lǐng)超過(guò)20人的開(kāi)發(fā)團(tuán)隊(duì)，有豐富的開(kāi)發(fā)與管理經(jīng)驗(yàn)。參與開(kāi)發(fā)了<酷狗音樂(lè)>，<繁星網(wǎng)>，<中國(guó)電信移動(dòng)辦公>， <智慧天河>，<翼健康>，<創(chuàng)餉無(wú)限>，<外修管家>等20多款互聯(lián)網(wǎng)熱門應(yīng)用。其不但開(kāi)發(fā)經(jīng)驗(yàn)豐富，教學(xué)幽默風(fēng)趣，而且對(duì) 學(xué)生要求嚴(yán)格，堅(jiān)持授人與魚(yú)不如授人與漁的理念，注重培養(yǎng)學(xué)生的解決問(wèn)題與自我思考的能力。

大數(shù)據(jù)核心知識(shí)

Hadoop基礎(chǔ)

Hadoop1介紹

hadoop1架構(gòu)

hadoop2架構(gòu)（對(duì)比hadoop1）

hadoop2環(huán)境搭建

HDFS操作

yarn操作

Hadoop應(yīng)用

Hive數(shù)據(jù)倉(cāng)庫(kù)

zookeeper系統(tǒng)服務(wù)

HBase非關(guān)系型數(shù)據(jù)庫(kù)

Sqoop數(shù)據(jù)庫(kù)抽取工具

Flume日志抽取工具

Spark基礎(chǔ)

環(huán)境搭建

Spark平臺(tái)介紹

RDD彈性分布式數(shù)據(jù)集

Scala編程

Spark應(yīng)用

Spark-SQL組件

DataFrame組件

課程優(yōu)勢(shì)

1.真實(shí)的企業(yè)項(xiàng)目；

2.目前企業(yè)中應(yīng)用廣泛的技術(shù)路線；

3.部分Spark源碼剖析，從源碼層面提升問(wèn)題解決能力。

4.從hadoop1到hadoop2機(jī)制原理詳細(xì)解說(shuō)；

5.生產(chǎn)環(huán)境hadoop集群調(diào)優(yōu)經(jīng)驗(yàn)；

6.企業(yè)真實(shí)項(xiàng)目實(shí)戰(zhàn)；

本階段學(xué)習(xí)目標(biāo)

1.了解hadoop機(jī)制原理 ；

2.了解hadoop集群搭建過(guò)程；

3.了解Hdfs API使用以及mr編程模型；

4.了解hive、hbase、sqoop、flume等組件的使用方法；

5.Spark平臺(tái)的優(yōu)勢(shì)以及Spark集群的搭建過(guò)程；

6.Scala程序設(shè)計(jì)基礎(chǔ)；

7.Spark-SQL和DataFrame API詳解。

本階段學(xué)習(xí)效果

1.了解hadoop集群的搭建過(guò)程；

2.能夠**mr和hive來(lái)實(shí)現(xiàn)簡(jiǎn)單的數(shù)據(jù)清洗的業(yè)務(wù)需求；

3.能夠了解數(shù)據(jù)的抽取，轉(zhuǎn)換，清洗，建模，入庫(kù)過(guò)程；

4.掌握Spark集群的搭建；

5.掌握函數(shù)式編程思想，能夠根據(jù)業(yè)務(wù)需求編寫高質(zhì)量的Scala程序；

6.掌握大規(guī)模離線數(shù)據(jù)的計(jì)算、分析能力。