南通科迅教育

大數(shù)據(jù)工程師簡(jiǎn)述

大數(shù)據(jù)工程師是在Linux系統(tǒng)下搭建Hadoop生態(tài)系統(tǒng)（cloudera是通 過(guò)大的輸出者類(lèi)似于Linux的紅帽），把用戶(hù)的交易或行為信息通 過(guò)HDFS（分布式文件系統(tǒng)）等存儲(chǔ)用戶(hù)數(shù)據(jù)文件，然后通 過(guò)Hbase（類(lèi)似于NoSQL）等存儲(chǔ)數(shù)據(jù)，再通 過(guò)Mapreduce（并行計(jì)算框架）等計(jì)算數(shù)據(jù)，然后通 過(guò)hiv或pig（數(shù)據(jù)分析平臺(tái)）等分析數(shù)據(jù)，然后按照用戶(hù)需要重現(xiàn)出數(shù)據(jù)的工程師。

【開(kāi)始階段課程（Java核心開(kāi)發(fā)）】

■ 學(xué)習(xí)內(nèi)容：Java核心內(nèi)容。

■ 學(xué)習(xí)目標(biāo)：掌握數(shù)據(jù)類(lèi)型與運(yùn)算符，數(shù)組、類(lèi)與對(duì)象；掌握IO流與反射、多線(xiàn)程、JDBC。

■ 完成目標(biāo)：Java多線(xiàn)程模擬多窗口售票，Java集合框架管理。

【第二階段課程（Java企業(yè)級(jí)開(kāi)發(fā)）】

■ 學(xué)習(xí)內(nèi)容：JavaEE核心內(nèi)容。

■ 學(xué)習(xí)目標(biāo)：Mysql數(shù)據(jù)基礎(chǔ)知識(shí)，Jdbc 基礎(chǔ)概念和操作掌握HTML和CSS語(yǔ)法、Javascript核心語(yǔ)法。

■ 完成目標(biāo)：京東電商網(wǎng)站項(xiàng)目、2048小游戲。

【第三階段課程（Linux精講）】

■ 學(xué)習(xí)內(nèi)容：Linux命令、文件、配置，Shell、Awk、Sed。

■ 學(xué)習(xí)目標(biāo)：搭建負(fù)載均衡、高可靠的服務(wù)器集群，可大網(wǎng)站并發(fā)訪(fǎng)問(wèn)量，保證服務(wù)不間斷。

■ 完成目標(biāo)：Linux環(huán)境搭建、shell腳本小游戲 貪吃蛇。

【第四階段課程（Hadoop生態(tài)體系）】

■ 學(xué)習(xí)內(nèi)容：HDFS、MapReduce、Hive、Sqoop、Oozie。

■ 學(xué)習(xí)目標(biāo)：掌握HDFS原理、操作和應(yīng)用開(kāi)發(fā)，掌握分布式運(yùn)算、Hive數(shù)據(jù)倉(cāng)庫(kù)原理及應(yīng)用。

■ 完成目標(biāo)：微博數(shù)據(jù)大數(shù)據(jù)分析、汽車(chē)銷(xiāo)售大數(shù)據(jù)分析。

【第五階段課程（Storm實(shí)時(shí)開(kāi)發(fā)）】

■ 學(xué)習(xí)內(nèi)容：Zookeeper、HBase、Storm實(shí)時(shí)數(shù)據(jù)。

■ 學(xué)習(xí)目標(biāo)：掌握Storm程序的開(kāi)發(fā)及底層原理，具備開(kāi)發(fā)基于Storm的實(shí)時(shí)計(jì)算程序的能力。

■ 完成目標(biāo)：實(shí)時(shí)處理新數(shù)據(jù)和更新數(shù)據(jù)庫(kù)，處理密集查詢(xún)并行搜索處理大集合的數(shù)據(jù)。

【第六階段課程（Spark生態(tài)體系）】

■ 學(xué)習(xí)內(nèi)容：Scala函數(shù)、Spark SQL、機(jī)器學(xué)習(xí)。

■ 學(xué)習(xí)目標(biāo)：熟練使用Scala快速開(kāi)發(fā)Spark大數(shù)據(jù)應(yīng)用，挖掘出其中有價(jià)值的數(shù)據(jù)。

■ 完成目標(biāo)：使用Spark處理離線(xiàn)數(shù)據(jù)、使用SparkStreaming完成實(shí)時(shí)計(jì)算。

【第七階段課程（大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)）】

■ 學(xué)習(xí)內(nèi)容：大型綜合性大數(shù)據(jù)項(xiàng)目。

■ 學(xué)習(xí)目標(biāo)：能夠綜合運(yùn)用大數(shù)據(jù)知識(shí)進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)開(kāi)發(fā)、分析，能夠開(kāi)發(fā)大型項(xiàng)目。

■ 某大型網(wǎng)站日志分析，移動(dòng)業(yè)務(wù)感知分析，實(shí)時(shí)檢測(cè)車(chē)輛超速項(xiàng)目，實(shí)時(shí)非法網(wǎng)站檢測(cè)項(xiàng)目。