南通科迅教育

大數(shù)據(jù)工程師簡述

大數(shù)據(jù)工程師是在Linux系統(tǒng)下搭建Hadoop生態(tài)系統(tǒng)（cloudera是通 過大的輸出者類似于Linux的紅帽），把用戶的交易或行為信息通 過HDFS（分布式文件系統(tǒng)）等存儲用戶數(shù)據(jù)文件，然后通 過Hbase（類似于NoSQL）等存儲數(shù)據(jù)，再通 過Mapreduce（并行計算框架）等計算數(shù)據(jù)，然后通 過hiv或pig（數(shù)據(jù)分析平臺）等分析數(shù)據(jù)，然后按照用戶需要重現(xiàn)出數(shù)據(jù)的工程師。

【開始階段課程（Java核心開發(fā)）】

■ 學(xué)習(xí)內(nèi)容：Java核心內(nèi)容。

■ 學(xué)習(xí)目標(biāo)：掌握數(shù)據(jù)類型與運算符，數(shù)組、類與對象；掌握IO流與反射、多線程、JDBC。

■ 完成目標(biāo)：Java多線程模擬多窗口售票，Java集合框架管理。

【第二階段課程（Java企業(yè)級開發(fā)）】

■ 學(xué)習(xí)內(nèi)容：JavaEE核心內(nèi)容。

■ 學(xué)習(xí)目標(biāo)：Mysql數(shù)據(jù)基礎(chǔ)知識，Jdbc 基礎(chǔ)概念和操作掌握HTML和CSS語法、Javascript核心語法。

■ 完成目標(biāo)：京東電商網(wǎng)站項目、2048小游戲。

【第三階段課程（Linux精講）】

■ 學(xué)習(xí)內(nèi)容：Linux命令、文件、配置，Shell、Awk、Sed。

■ 學(xué)習(xí)目標(biāo)：搭建負(fù)載均衡、高可靠的服務(wù)器集群，可大網(wǎng)站并發(fā)訪問量，保證服務(wù)不間斷。

■ 完成目標(biāo)：Linux環(huán)境搭建、shell腳本小游戲 貪吃蛇。

【第四階段課程（Hadoop生態(tài)體系）】

■ 學(xué)習(xí)內(nèi)容：HDFS、MapReduce、Hive、Sqoop、Oozie。

■ 學(xué)習(xí)目標(biāo)：掌握HDFS原理、操作和應(yīng)用開發(fā)，掌握分布式運算、Hive數(shù)據(jù)倉庫原理及應(yīng)用。

■ 完成目標(biāo)：微博數(shù)據(jù)大數(shù)據(jù)分析、汽車銷售大數(shù)據(jù)分析。

【第五階段課程（Storm實時開發(fā)）】

■ 學(xué)習(xí)內(nèi)容：Zookeeper、HBase、Storm實時數(shù)據(jù)。

■ 學(xué)習(xí)目標(biāo)：掌握Storm程序的開發(fā)及底層原理，具備開發(fā)基于Storm的實時計算程序的能力。

■ 完成目標(biāo)：實時處理新數(shù)據(jù)和更新數(shù)據(jù)庫，處理密集查詢并行搜索處理大集合的數(shù)據(jù)。

【第六階段課程（Spark生態(tài)體系）】

■ 學(xué)習(xí)內(nèi)容：Scala函數(shù)、Spark SQL、機(jī)器學(xué)習(xí)。

■ 學(xué)習(xí)目標(biāo)：熟練使用Scala快速開發(fā)Spark大數(shù)據(jù)應(yīng)用，挖掘出其中有價值的數(shù)據(jù)。

■ 完成目標(biāo)：使用Spark處理離線數(shù)據(jù)、使用SparkStreaming完成實時計算。

【第七階段課程（大數(shù)據(jù)項目實戰(zhàn)）】

■ 學(xué)習(xí)內(nèi)容：大型綜合性大數(shù)據(jù)項目。

■ 學(xué)習(xí)目標(biāo)：能夠綜合運用大數(shù)據(jù)知識進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)開發(fā)、分析，能夠開發(fā)大型項目。

■ 某大型網(wǎng)站日志分析，移動業(yè)務(wù)感知分析，實時檢測車輛超速項目，實時非法網(wǎng)站檢測項目。