廣州Python大數(shù)據(jù)培訓(xùn)

第2節(jié) Python的基本語法&選擇結(jié)構(gòu)

2.1 變量、變量的類型

2.2 輸出和輸入

2.3 運(yùn)算符：算術(shù)、賦值、關(guān)系(比較)、邏輯、位、移位

2.4 表達(dá)式類型和值、運(yùn)算順序、優(yōu)先級

2.5 程序流程控制：順序、選擇、循環(huán)

2.6 選擇結(jié)構(gòu)：if語句、if else語句、多重if語句、if嵌套語句

第3節(jié) 循環(huán)結(jié)構(gòu)&特殊流程控制&字符串&列表&字典

3.1 循環(huán)結(jié)構(gòu)：while循環(huán)、for循環(huán)

3.2 特殊流程控制語句：break、continue、兩者的區(qū)別

3.3 字符串和列表

3.4 元組和字典

第4節(jié)  函數(shù)&文件操作

4.1 函數(shù)簡介

4.2 函數(shù)定義與調(diào)用、基本使用、文檔說明

4.3 函數(shù)的參數(shù)、返回值、類型、局部變量與成員變量

4.4 遞歸算法、匿名函數(shù)

4.5 文件和目錄

4.6 os模塊、過濾文件、批量重命名文件

4.7 file對象、拷貝文本文件、拷貝圖片

4.8 學(xué)員管理系統(tǒng)(文件版)

第6節(jié)  異常處理與模塊

6.1 異常處理簡介、錯誤、異常

6.2 Python中的異常：NameError、SyntaxError、IndexError等

6.3 檢測與處理異常、捕獲異常try-except、else、finally、拋出異常、raise

6.4 模塊概念、導(dǎo)入及使用、import

6.5 制作與發(fā)布模塊

6.6 安裝與使用模塊、常見模塊

第7節(jié)  高級語法

7.1 淺拷貝、深拷貝、拷貝的其他方式

7.2 ==與is

7.3 封裝性進(jìn)階、基本使用、私有化屬性、屬性property

7.4 動態(tài)語言、基本定義、添加屬性、添加方法、刪除屬性、__slots__

7.5 生成器概念、創(chuàng)建

7.6 可迭代對象、迭代器對象

7.7 閉包、基本使用、深入理解

7.8 裝飾器、*元類(type類)

7.9 內(nèi)建屬性與內(nèi)建函數(shù)、模塊進(jìn)階、常用標(biāo)準(zhǔn)庫

第8節(jié)  進(jìn)程&線程

8.1 進(jìn)程簡介、進(jìn)程的創(chuàng)建與啟動

8.2 multiprocessing模塊、Process類

8.3 進(jìn)程池、Pool類、隊(duì)列(Queue)、進(jìn)程拷貝文件

8.4 線程簡介、進(jìn)程與線程的區(qū)別

8.5 線程的創(chuàng)建與啟動、threading模塊、Thread類

8.6 線程的生命周期

8.7 線程同步、Lock類

8.8 死鎖、local類、生產(chǎn)者與消費(fèi)者模型

第9節(jié)  正則表達(dá)式&網(wǎng)絡(luò)編程

9.1 正則表達(dá)式的規(guī)則

9.2 字符類、特殊字符類、原始字符串、數(shù)量量詞、匹配分組、邊界匹配器

9.3  re模塊的高級操作、匹配、分割、替換、獲取

9.4 貪婪模式、非貪婪模式

9.5 計(jì)算機(jī)網(wǎng)絡(luò)、OSI模型與TCP/IP模型、網(wǎng)絡(luò)術(shù)語、三要素、TCP/IP協(xié)議

9.6  Socket編程、常用方法

9.7 UDP簡介、發(fā)送數(shù)據(jù)、接收數(shù)據(jù)、模擬QQ聊天

9.8  TCP簡介、服務(wù)器端、客戶端、發(fā)送數(shù)據(jù)、接收數(shù)據(jù)

第2節(jié) MySQL

2.1 數(shù)據(jù)庫的概念、數(shù)據(jù)知識、常見的數(shù)據(jù)庫

2.2 MySQL的使用、安裝MySQL、打開Windows服務(wù)、啟動和關(guān)閉MySQL、登錄

2.3  SQL語句、基本概述

2.4 數(shù)據(jù)庫(database)操作、建庫、建表

2.5 數(shù)據(jù)表結(jié)構(gòu)操作、增刪查改

2.6  MySQL與Python進(jìn)行交互

第3節(jié) MongoDB

3.1 MongoDB的環(huán)境搭建、數(shù)據(jù)庫操作

3.2 集合操作、數(shù)據(jù)類型、數(shù)據(jù)操作

3.3 數(shù)據(jù)查詢：Limit與Skip、投影

3.4 排序、統(tǒng)計(jì)、去掉重復(fù)

3.5 聚合aggregate、安全性、復(fù)制、備份與恢復(fù)

3.6  MongoDB與Python進(jìn)行交互

第4節(jié) Redis

4.1 NoSQL簡介、安裝、基本配置

4.2 數(shù)據(jù)操作：string、鍵、hash、list、set、zset

4.3 高級、發(fā)布訂閱、主從配置

4.4 Redis與Python進(jìn)行交互

第2節(jié) 抓取結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)

2.1 抓取并分析re模塊正則表達(dá)式的爬蟲

2.2 XPath與XML類庫分析數(shù)據(jù)、使用XPath爬蟲

2.3 BeautifulSoup4解析器、使用bs4的爬蟲

2.4 Json模塊與JsonPath

2.5 實(shí)際應(yīng)用案例、多線程爬蟲案例

第3節(jié) HTML處理與識別機(jī)器圖像

3.1 動態(tài)HTML介紹

3.2 selenium與phantomJS

3.3 模擬登錄、點(diǎn)擊動態(tài)頁面、執(zhí)行js

3.4 機(jī)器視覺與Tesseract介紹

3.5 處理規(guī)范格式的文字內(nèi)容、對驗(yàn)證碼進(jìn)行機(jī)器識別

3.6 訓(xùn)練Tesseract進(jìn)行機(jī)器學(xué)習(xí)

第4節(jié) scrapy框架及實(shí)戰(zhàn)

4.1 配置安裝、入門使用

4.2 scrapy shell、item Pipeline、spiders

4.3 crawlspiders、請求與響應(yīng)、settings

4.4 抓取手機(jī)APP包的爬蟲

4.5 新浪網(wǎng)分類資訊爬蟲

4.6 陽光熱線問政平臺爬蟲、圖片**器

4.7 將數(shù)據(jù)保存在MongoDB數(shù)據(jù)庫中

第5節(jié) scrapy及Redis實(shí)戰(zhàn)

5.1 源碼分析之Connection、Dupefilter、Picklecompat

5.2 源碼分析之Queue、Scheduler、Spider

5.3 有緣網(wǎng)分布式爬蟲分析

5.4 處理Redis中的數(shù)據(jù)內(nèi)容

5.5 改寫新浪網(wǎng)資訊爬蟲