蘇州其然軟件開(kāi)發(fā)培訓(xùn)

一個(gè)合格的未來(lái) Java工程師

學(xué)習(xí)Java編程需要參加Java培訓(xùn)嗎？

學(xué)習(xí)Java編程需要參加Java培訓(xùn)嗎？

隨著社會(huì)信息的發(fā)展，Java技術(shù)已經(jīng)無(wú)處不在，無(wú)論是手機(jī)軟件、手機(jī)Java 游戲還是電腦軟件等，只要你使用到電子產(chǎn)品就會(huì)碰到和Java有關(guān)的東西，更多的企業(yè)正采用Java語(yǔ)言開(kāi)發(fā)網(wǎng)站，而在所有程序員中，Java開(kāi)發(fā)工程師 就占據(jù)20%的比例。所以，現(xiàn)在依然有很多人選擇學(xué)習(xí)Java語(yǔ)言。

學(xué)Java參加Java培訓(xùn)很有必要嗎？很有必要，理由如下：

當(dāng)下選擇自學(xué)Java的朋友，大部分都會(huì)考慮網(wǎng)上查找Java入門(mén)視頻跟著學(xué)習(xí) ，網(wǎng)上的Java入門(mén)視頻質(zhì)量有沒(méi)有保障呢？首先數(shù)量多，你該怎么選擇好的Java入門(mén)視頻資料呢？哪些Java入門(mén)視頻資料中包含著已經(jīng)淘汰的Java技術(shù) ，你可以區(qū)分出來(lái)嗎？

當(dāng)然，如果你只是想先了解下Java編程，學(xué)一些基礎(chǔ)的皮毛，那么Java基礎(chǔ) 教程還是可以滿足你的需求。但Java培訓(xùn)小編提醒你，真想學(xué)習(xí)Java基礎(chǔ)教程就該找全套的教學(xué)視頻，零零湊湊的建議你還不如不學(xué)。推薦**網(wǎng)的全套 免費(fèi)Java教學(xué)視頻針對(duì)零基礎(chǔ)，想要入門(mén)的同學(xué)十分的靠譜，簡(jiǎn)單易懂。

自學(xué)Java首先Java學(xué)習(xí)資料的選擇就是個(gè)相當(dāng)大的問(wèn)題，拋去這個(gè)問(wèn)題。自 學(xué)Java沒(méi)有專(zhuān)業(yè)Java老師在旁輔導(dǎo)，那么你勢(shì)必要花出更多的時(shí)間和精力學(xué)Java，你口上說(shuō)著計(jì)劃每天花八個(gè)小時(shí)學(xué)Java，你真的能夠做到嗎？自學(xué) Java，**怕自欺欺人，語(yǔ)言上的巨人行動(dòng)上的矮子。

大數(shù)據(jù)核心知識(shí)

大數(shù)據(jù)核心知識(shí)

Hadoop基礎(chǔ)

Hadoop1介紹

hadoop1架構(gòu)

hadoop2架構(gòu)（對(duì)比hadoop1）

hadoop2環(huán)境搭建

HDFS操作

yarn操作

Hadoop應(yīng)用

Hive數(shù)據(jù)倉(cāng)庫(kù)

zookeeper系統(tǒng)服務(wù)

HBase非關(guān)系型數(shù)據(jù)庫(kù)

Sqoop數(shù)據(jù)庫(kù)抽取工具

Flume日志抽取工具

Spark基礎(chǔ)

環(huán)境搭建

Spark平臺(tái)介紹

RDD彈性分布式數(shù)據(jù)集

Scala編程

Spark應(yīng)用

Spark-SQL組件

DataFrame組件

課程優(yōu)勢(shì)

1.真實(shí)的企業(yè)項(xiàng)目；

2.目前企業(yè)中應(yīng)用廣泛的技術(shù)路線；

3.部分Spark源碼剖析，從源碼層面提升問(wèn)題解決能力。

4.從hadoop1到hadoop2機(jī)制原理詳細(xì)解說(shuō)；

5.生產(chǎn)環(huán)境hadoop集群調(diào)優(yōu)經(jīng)驗(yàn)；

6.企業(yè)真實(shí)項(xiàng)目實(shí)戰(zhàn)；

本階段學(xué)習(xí)目標(biāo)

1.了解hadoop機(jī)制原理 ；

2.了解hadoop集群搭建過(guò)程；

3.了解Hdfs API使用以及mr編程模型；

4.了解hive、hbase、sqoop、flume等組件的使用方法；

5.Spark平臺(tái)的優(yōu)勢(shì)以及Spark集群的搭建過(guò)程；

6.Scala程序設(shè)計(jì)基礎(chǔ)；

7.Spark-SQL和DataFrame API詳解。

本階段學(xué)習(xí)效果

1.了解hadoop集群的搭建過(guò)程；

2.能夠**mr和hive來(lái)實(shí)現(xiàn)簡(jiǎn)單的數(shù)據(jù)清洗的業(yè)務(wù)需求；

3.能夠了解數(shù)據(jù)的抽取，轉(zhuǎn)換，清洗，建模，入庫(kù)過(guò)程；

4.掌握Spark集群的搭建；

5.掌握函數(shù)式編程思想，能夠根據(jù)業(yè)務(wù)需求編寫(xiě)高質(zhì)量的Scala程序；

6.掌握大規(guī)模離線數(shù)據(jù)的計(jì)算、分析能力。

shell的date命令：使用方法，以及小時(shí)、分鐘的計(jì)算

---

>

shell命令格式嚴(yán)格，不像Python那樣命令行中可以添加空格。如等號(hào)兩邊無(wú)空格。有多余空格錯(cuò)誤，日期date命令就是**明顯的例子。

 

命令格式：

date [-u] [-d datestr] [-s datestr] [--utc] [--universal][--date=datestr] [--set=datestr] [--help] [--version] [ FORMAT][MMDDhhmm[[CC]YY][.ss]]

如：

date %Y%m%d             ：以yyyymmdd格式輸出(20111118) date --date="1 day ago" %Y%m%d :一天前的日期

date -d "-2 day 20111111" %Y%m%d

day="20111111"  

for i in `seq 0 6`     ：循環(huán)看 參數(shù)順序無(wú)關(guān)，命令都一樣 do     date -d "$day $i day"  %Y%m%d   :正數(shù)可以省略符號(hào)     date %Y%m%d -d "$day $i day" 

    date %Y%m%d -d "$i day $day "

    date %Y%m%d -d " $i day $day "     date %Y%m%d -d $day

done

格式注意

1，date后面每個(gè)空格之間都是一個(gè)獨(dú)立的參數(shù)，分別看做整體，用雙引號(hào)格式能看的更為清楚，如date " %Y%m%d %H:%M:%S" -d " 1 hour"

        i.             -d“-2 day20111111”指定輸出內(nèi)容

        ii.             “ %Y%m%d”是一個(gè)整體，控制輸出格式， 后面無(wú)空格

2，參數(shù)順序無(wú)關(guān)，如

                date -d "-2 day 20111111" %Y%m%d

              date %Y%m%d -d "-2 day 20111111"

date %Y%m%d -d "20111111 -2 day"

       都一樣。

3，獨(dú)立參數(shù)有無(wú)雙引號(hào)都行，

date -d 2014-02-13 %s和date -d"2014-02-13" " %s"是一樣的，還有date -d 2014-02-13 %s

時(shí)間字符串的轉(zhuǎn)化：

用date 的輸出格式控制實(shí)現(xiàn)，但“月日年”和“時(shí)分秒”必須分開(kāi)處理，否則會(huì)無(wú)法識(shí)別。such as

2013-10-30 20:12:59 或者 20131030 20:12:59

注意：

1，二者用空格分割；

2，年月日作為整體，格式十分靈活，可以隨意寫(xiě)。但時(shí)分秒必須用冒號(hào)”:”分開(kāi)，否則無(wú)法識(shí)別。

 

1 date字符串與時(shí)間戳格式互轉(zhuǎn)：

A）字符串轉(zhuǎn)時(shí)間指定格式：

計(jì)算2011111前兩天    

date -d "-2 day 20111111" %Y%m%d   (輸出為 20111109)     

或者date --date="20130913" %Y%m%d

 

B）字符串轉(zhuǎn)換為時(shí)間戳：

date -d "2010-10-18 00:00:00" %s    （輸出  1287331200）

-d參數(shù)指定字符串， %s表示輸出時(shí)間戳。

 

C）時(shí)間戳轉(zhuǎn)換為字符串：

date -d 1970-01-01 UTC 1287331200 seconds "%Y-%m-%d %T"（輸出2010-10-18 00:00:00）

        或者直接用@符號(hào) 

         date -d @1287331200 " %Y-%m-%d

D)時(shí)間戳的日期計(jì)算：

seconds=`date -d "2010-10-18 00:00:00" %s`     #得到時(shí)間戳

seconds_new=`exPR $seconds 86400`          #加上一天的秒數(shù)86400

date_new=`date -d @$seconds_new " %Y-%m-%d"`   #獲得指定日前加上一天的日前

 

2 分鐘計(jì)算的兩種方法：

1）date時(shí)間計(jì)算，輸出用格式控制符：

date " %Y-%m-%d %H:%M:%S" -d "-15 minute$yearof-$monthof-$dayof 20:12:59"

例子：

yearof="2013"

monthof="10"

dayof="30"

nowth=1

echo $nowth

echo $dayof

date " %G-%m-%d %H:%M:%S" -d "2013-10-3020:12:59"

date " %Y%m%d%H%M%S" -d "2013-10-30 20:12:59"

mytime=`date " %Y-%m-%d %H:%M:%S" -d"$yearof-$monthof-$dayof 20:12:59"`

echo "$mytime is"

mytime=`date " %Y-%m-%d %H:%M:%S" -d "-15 minute$yearof-$monthof-$dayof 20:12:59"`

echo "$mytime now is"

nowtime=`date " %Y%m%d%H%M%S" -d"$yearof-$monthof-$dayof 20:12:59"`

#time must be with :, if no, wrong

echo "$nowtime is"

nowtime=`date " %Y%m%d%H%M%S" -d "-15 minute${yearof}${monthof}${dayof} 20:12:59"`

echo "$nowtime now is"

 

 

2）轉(zhuǎn)為時(shí)間戳計(jì)算：

#date " %Y-%m-%d %H:%M:%S" -d "20131030203859"

#date -d "$yearof-$monthof-$dayof 14:32:12" %s

#date -d "$yearof-$monthof-$dayof 14:32:12" %s

 

 

 

3 屏蔽字符串，如分和秒歸0：

true_time="2013-09-15 15:36:11"

start_time=`date " %Y%m%d%H0000" -d"$true_time"`

echo $start_time

 

##mytime=`date -d "$start_time" " %s"`#invalid

 

test_time=`date " %Y-%m-%d %H:00:00" -d"$true_time"`

echo $test_time

#轉(zhuǎn)時(shí)間戳

start_time=`date -d "$test_time" " %s"`

echo $start_time

 

4 按日期循環(huán)執(zhí)行的shell：

oneday="20141103"

dbname="wizad"

set -x

for i in `seq 0 60`

do

    onedayid=$(date -d"${oneday} $i day" %Y-%m-%d)

     Hive -e "use${dbname};

     alter tablewizad_mdm_cleaned_hdfs add partition (day= ${onedayid} ,adn= 3 ) location /user/wizad/data/wizad/raw/${onedayid}/3_1/ ;

     alter tablewizad_mdm_cleaned_hdfs add partition (day= ${onedayid} ,adn= 5 ) location /user/wizad/data/wizad/raw/${onedayid}/5_1/ ;

     "

done

 

5 一些date常用案例：

 

1,將增加時(shí)間變成秒

 time2=$((1*60*60 20*60))

 echo$time2

4800

2,兩個(gè)時(shí)間相加，計(jì)算出結(jié)果時(shí)間

time1=$(date %s -d 1990-01-01 01:01:01 )

time1=$(($time1 $time2))

time1=$(date %Y-%m-%d\ %H:%M:%S -d"1970-01-01 UTC $time1 seconds");

echo $time1

1990-01-01 02:21:01

 

3,時(shí)間差計(jì)算方法

如：2010-01-01 與 2009-01-01 11:11:11 時(shí)間差

原理：同樣轉(zhuǎn)成時(shí)間戳，然后計(jì)算天，時(shí)，分，秒

time1=$(($(date %s -d 2010-01-01 ) -$(date %s -d 2009-01-01 11:11:11 )));

echo time1

將time1 / 60 秒，就變成分了。

 

4，小時(shí)的計(jì)算：

date#當(dāng)前時(shí)間

current_time=`date " %Y-%m-%d%H:00:00" -d "-1 hour"` #取一小時(shí)前的時(shí)間，分秒清零

echo $current_time

start_time=`date -d"$current_time" " %s"`#轉(zhuǎn)化為時(shí)間戳

echo $start_time

 

end_time=`date " %Y%m%d %H:%M:%S"-d " 1 hour ${current_time}"`#

echo $end_time

my_time=`date " %Y-%m-%d%H:00:00"`

echo $my_time

上面兩個(gè)都是取當(dāng)前時(shí)間的分秒清零。

 

t_time=`date -d "$my_time"" %s"`

echo $t_time

t2_time=$((start_time 3600))  #注意，轉(zhuǎn)化為時(shí)間戳后可以直接計(jì)算，用shell的簡(jiǎn)便計(jì)算符$((表達(dá)式))，直接求出一小時(shí)后的時(shí)間（時(shí)間戳格式）

echo $t2_time

相關(guān)推薦：

---

蘇州JAVA培訓(xùn)   蘇州JAVA培訓(xùn)班   蘇州JAVA培訓(xùn)機(jī)構(gòu)