python爬虫和数据分析

推荐

时间安排

课程内容

第一天

l  网络爬虫技术入门

n  “爬虫”的概念和本质

n  网络爬虫的实用价值

n  网络爬虫的法律约束

n  为什么选择Python做爬虫开发语言

n  Python的包管理工具-pip

n  编写第一个网络爬虫

Ø  robots.txt介绍

Ø  爬虫第一步：网页下载

Ø  【案例】网站地图爬虫

Ø  【案例】遍历Id爬虫

Ø  【案例】链接爬虫

l  网页内容（数据）的抓取

n  网页的分析

Ø  FireBug Lite等工具

n  爬虫技术三种网页内容抓取方式

Ø  正则表达式

Ø  Beautiful Soup

Ø  Lxml：CSS选择器抓取

Ø  【讨论】三种抓取方式的优劣对比

Ø  【案例】为第一个爬虫增加抓取功能

l  爬虫下载缓存

n  爬虫添加下载缓存的必要性

n  为链接爬虫添加缓存支持

n  缓存文件

Ø  文件系统限制

Ø  文件缓存实现（包含异常处理）

Ø  文件缓存测试的执行

Ø  使用zlib压缩缓存

Ø  清理过期文件缓存数据

Ø  文件缓存缓存缺陷

Ø  【案例】文件缓存实现

n  数据库缓存

Ø  爬虫开发缓存选择NoSQL的理由

Ø  典型的NoSQL-MongoDB技术概述

Ø  MongoDB缓存实现

Ø  MongoDB数据压缩

Ø  MongoDB缓存测试

Ø  【案例】MongoDB缓存实现

第二天

l  100万个网页以上规模的网站数据抓取-并行爬虫

n  常规串行爬虫的特性

n  爬虫线程和进程的工作原理

n  多线程爬虫

n  多进程爬虫

n  性能分析

n  【案例】多线程爬虫

n  【案例】多进程爬虫

l  JavaScript动态页面的爬虫技术

n  动态页面示例

n  对动态网页执行逆向工程

Ø  分析页面加载数据的过程

Ø  python的Ajax调用

Ø  边界优化

Ø  【案例】动态网页的逆向

n  使用渲染引擎处理动态页面

Ø  渲染引擎处理原理

Ø  包含WebKit的Python库：PyQt

Ø  包含WebKit的Python库：PySide

Ø  使用WebKit编程执行动态的JavaScript

Ø  使用WebKit与网站交互-自定义渲染规则

Ø  浏览器自动化API接口提供者-Selenium

Ø  【案例】PySide执行动态的JavaScript

Ø  【案例】Selenium运行动态JavaScript

l  表单交互

n  登陆表单

Ø  GET/POST

Ø  URLencode/URLdecode

Ø  header & cookie

Ø  如何突破使用cookie阻挡的网站

n  网络机器人实现（网站内容自动更新功能）

n  高级Mechanize模块实现自动化表单处理

l  【案例】表单登陆

第三天

l  CAPTCHA(登陆验证码)处理

n  注册账号的关键控制环节

Ø  加载验证码图像

n  常规验证码图像处理-OCR（光学字符识别）

Ø  Tesseract OCR引擎

Ø  阀值化

Ø  OCR优化

Ø  【案例】OCR验证码图像处理

n  非常规的复杂验证码图像处理-9KW

Ø  复杂验证码图像处理服务概述

Ø  9KW入门

Ø  集成注册功能

Ø  【案例】调用9KW服务进行验证码图像处理

l  网络爬虫框架Scrapy（快速编写spider爬虫）

n  Scrapy安装

n  Scrapy框架的开发与使用

Ø  Scrapy框架爬虫spider介绍

Ø  爬虫项目默认结构生成-startproject

Ø  爬取内容模型设定

Ø  spider爬虫创建

Ø  如何使用shell 命令抓取

Ø  spider爬虫的中断与恢复

Ø  【案例】使用Scrapy框架快速编写爬虫

n  基于Scrapy开发的可视化爬虫工具-Portia

Ø  virtualenv 环境下的-Portia安装过程

Ø  Portia的标注

Ø  优化Portia生成的爬虫

Ø  【案例】使用Portia生成可视化爬虫

n  使用Scrapely实现自动化抓取

l  爬虫封禁的突破

n  robots.txt剖析

n  user agent

n  referrer

n  爬虫封禁的突破技巧

l  【爬虫实战一】Google搜索引擎

l  【爬虫实战二】宝马官网-抓取信息

第四天

l  爬行数据整理和可视化数据分析

n  CSV显示

n  Matplotlib的图形化显示

Ø  iPython和pylad

Ø  图型的初级绘制

°  默认配置的详解

°  线条的控制

°  图片边界

°  记号

°  移动脊柱

°  图例添加

°  注释特殊点

Ø  图像子图坐标轴和记号

Ø  其他类型的图

Ø  散点图／条形图／等高线图

Ø  灰度图／饼状图／量场图

Ø  网格／多重网格

Ø  极轴图／3D图

n  JS可视化图表highcharts.js

Ø  曲线图

Ø  区域图

Ø  饼图

Ø  散点图

Ø  气泡图

Ø  动态图表

Ø  组合图表

Ø  3D图

Ø  测量图

Ø  热点图

Ø  树状图

l  【爬虫数据可视化显示】某商城商品销售价格信息

总结

l  复习本课程所有的内容

l  总结 讨论和完整案例展