南通大數據開發(fā)專業(yè)培訓

大數據工程師簡述

大數據工程師是在Linux系統下搭建Hadoop生態(tài)系統（cloudera是通 過大的輸出者類似于Linux的紅帽），把用戶的交易或行為信息通 過HDFS（分布式文件系統）等存儲用戶數據文件，然后通 過Hbase（類似于NoSQL）等存儲數據，再通 過Mapreduce（并行計算框架）等計算數據，然后通 過hiv或pig（數據分析平臺）等分析數據，然后按照用戶需要重現出數據的工程師。

【開始階段課程（Java核心開發(fā)）】

■ 學習內容：Java核心內容。

■ 學習目標：掌握數據類型與運算符，數組、類與對象；掌握IO流與反射、多線程、JDBC。

■ 完成目標：Java多線程模擬多窗口售票，Java集合框架管理。

【第二階段課程（Java企業(yè)級開發(fā)）】

■ 學習內容：JavaEE核心內容。

■ 學習目標：Mysql數據基礎知識，Jdbc 基礎概念和操作掌握HTML和CSS語法、Javascript核心語法。

■ 完成目標：京東電商網站項目、2048小游戲。

【第三階段課程（Linux精講）】

■ 學習內容：Linux命令、文件、配置，Shell、Awk、Sed。

■ 學習目標：搭建負載均衡、高可靠的服務器集群，可大網站并發(fā)訪問量，保證服務不間斷。

■ 完成目標：Linux環(huán)境搭建、shell腳本小游戲 貪吃蛇。

【第四階段課程（Hadoop生態(tài)體系）】

■ 學習內容：HDFS、MapReduce、Hive、Sqoop、Oozie。

■ 學習目標：掌握HDFS原理、操作和應用開發(fā)，掌握分布式運算、Hive數據倉庫原理及應用。

■ 完成目標：微博數據大數據分析、汽車銷售大數據分析。

【第五階段課程（Storm實時開發(fā)）】

■ 學習內容：Zookeeper、HBase、Storm實時數據。

■ 學習目標：掌握Storm程序的開發(fā)及底層原理，具備開發(fā)基于Storm的實時計算程序的能力。

■ 完成目標：實時處理新數據和更新數據庫，處理密集查詢并行搜索處理大集合的數據。

【第六階段課程（Spark生態(tài)體系）】

■ 學習內容：Scala函數、Spark SQL、機器學習。

■ 學習目標：熟練使用Scala快速開發(fā)Spark大數據應用，挖掘出其中有價值的數據。

■ 完成目標：使用Spark處理離線數據、使用SparkStreaming完成實時計算。

【第七階段課程（大數據項目實戰(zhàn)）】

■ 學習內容：大型綜合性大數據項目。

■ 學習目標：能夠綜合運用大數據知識進行非結構化數據開發(fā)、分析，能夠開發(fā)大型項目。

■ 某大型網站日志分析，移動業(yè)務感知分析，實時檢測車輛超速項目，實時非法網站檢測項目。