Python网络数据采集
飞到花上 采集花粉 经过处理 数据清洗 存储编程可用的数据
urlib BeautifulSoup lxml Scrapy PdfMiner Requests Selenium NLTK Pillow unittset PySocks
知名网站的API MySQL数据库 OpenRefine数据分析工具
PhanthomJS无头浏览器
Tor代理服务器等内容
-----------
关于多进程 multiprocessing
并发 concurrency
集群 cluster
等高性能采集的不多
国内外关于网络数据保护的法律都在不断地制定与完善
作者介绍了美国与网络数据采集相关的法律与典型案例
呼吁网络爬虫严格控制网络数据采集的速度 降低 被采集网站服务的负担 法律问题
语言是思想的解释器 数据是语言的载体
bug是产品声明中的挑战 好产品 是不断面对bug并且战胜bug的结果
--------
每天6点起床
magic魔术
网络数据采集 web Scraping
巫术 wizardry
先写一个简单的网络爬虫并不难 就是先收集数据 再显示到 命令行或者存储到数据库里
github
---------
https://github.com/REMitchell/python-scraping
-------------
screen scraping
data mining
web harvesting
-------------
bots 机器人
--------
如果你上网的唯一方式是用浏览器
那么你失去了很多可能
twitter 或者维基百科的API 发现一个API同时提供了 不同的数据类型
------
市场预测 机器语言翻译 医疗诊断领域 对新闻网站 文章 健康论坛的数据进行采集
-----
Jonathan Harris
Sep Kamvar
在2006年发起的我们感觉挺好
wefeelfine
http://wefeelfine.org/
项目
从大量英文博客中抓取许多
i feel
i am feeling开头的语句
描述这个世界每天 每分钟的 感觉
-------
Bill Lubanovic 写的《Python语言及其应用》
Jessica McKellar 的教学视频
http://shop.oreilly.com/product/110000448.do
-----------
http://www.safaribooksonline.com
---------
域名切换 信息收集 以及 信息存储功能的爬虫
1990年的Nexus浏览器
浏览器本身就是一个程序 可以分解成很多基本组件可以重用 重写
-----------------------------------
被分成一些子模块
urllib.request
urllib.parse
urllib.error
库 里面有模块
----------
python的标准库
BeautifulSoup库的名字 取自 刘易斯 卡罗尔 的《爱丽丝梦游仙境》里的同名诗歌
化平淡为神奇
----
有病没药 天灾
-------
BS4
BeautifulSoup
-----------
sudo apt-get install python-bs4
mac
sudo easy_install pip
pip
pip install beautifulsoup4
------------
prettify---修饰
-----
bsObj.html.body.h1
bsObj.body.h1
bsObj.html.h1
-----------------
万一 爬着爬着 跌机了咋办
-------------
如果服务器不存在的话 urlopen会返回一个None对象
Beautiful对象找不到的时候返回的也是None
标签下面的标签没有的 话
就会
AttributeError错误
---
import urllib.request
from urllib.error import HTTPError
from bs4 import BeautifulSoup
def getTitle(url):
try:
html=urllib.request.urlopen(html)
except HTTPError as e:
return None
try:
bsObj=BeautifulSoup(html.read())
title=bsObj.body.h1
except AttributeError as e:
return None
return title
title=getTitle("http://www.pythonscraping.com/pages/page1.html")
if title==None:
print("题目不能是空")
else:
print(title)
-----------
米开朗其罗
如何完成《大卫》
很简单 只要用锤子 把石头上不像大卫的地方敲掉就好了
=----------
页面解析难题（Gordian Knot）的时候
当网站管理员对网站稍作修改之后 这行代码就会失效 甚至可能会毁掉整个网络爬虫
-------------
寻找 打印此页 的链接
看看网站有没有HTML样式更好的移动版
把自己的请求头设置成处于移动设备的状态 然后接受网站移动版
寻找隐藏在Javascript文件里面的信息
我曾经把一个网站上 的街道地址 整理成格式整洁的数组时候
查看过内嵌谷歌的javascript文件
网站标题也可以从网页的URL链接里获取
如果你找的信息只是存在一个网站上 别的地方没有
三思而后行写代码
--------------
Lambda表达式
本质上就是一个函数
可以作为其他函数的 变量使用
一个函数不是定义成f(x,y)
而是定义成 f(g(x),y)
或者f(g(x),h(x))的形式
----
BeautifulSoup允许我们把特定函数类型当作findAll函数的参数
唯一限制条件是
这些函数必须把一个标签作为参数且返回结果是布尔类型
BeautifulSoup用这个函数来评估它遇到的每个标签对象
最后评估结果为真的标签保留 将其他标签删除
soup.findAll(lambda tag:len(tag.attrs)==2)
这行代码会找出下面的标签：
<div class="body" id="content"></div>
<span style="color:red" class="title"></span>
-----
lambda 表达式选择标签 将是regular expression的完美替代方案
-------
除了使用BeautifulSoup （Python里最受欢迎的HTML解析库之一）
lxml （http://lxml.de/） 解析 HTML XML文档
非常底层的实现 大部分源码用c写的
学习曲线越陡峭 你可以越快学习它
处理HTML文档时很快
-----------
HTML parser Python自带的解析库
不用安装
https://docs.python.org/3/library/html.parser.html
----------
返回的是Python字典对象
可以获取和操作这些属性
myImgTag.attrs["src]
----------------
本质是一种递归
使用网络爬虫你必须谨慎地考虑需要消耗多少网络流量
---
还要尽力思考能不能让采集目标服务器负载更低一些
---------
维基百科六度分割理论
-----
凯文 贝肯(kevin Bacon)
六度分隔值游戏
两个游戏中 都是把两个不相关的 主题
维基百科里是词条之间的链接
凯文 贝肯是用出现在同一部电影里的演员来 链接
用一个总数不超过六条的主题链接起来 包括原来的两个主题
http://oracleofbacon.org/index.php
------------
from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen("http://en.wikipedia.org/wiki/Kevin_Bacon")
bsObj=BeautifulSoup(html)
for link in bsObj.findAll("a"):
if 'href' in link.attrs:
print(link.attrs['href'])
----------
维基百科的每个页面充满了 侧边栏 页眉 页脚 链接
连接到 分类页面 对话页面 其他不包含词条的页面的链接：
为了判断维基百科的内链是否链接到 一个词条
他写了一个很大的过滤函数
超过100行代码
不幸的是
在项目启动的时候 没有花时间去比较
词条链接和其他链接的差异
---
URL链接不包含分号
在id是bodyContent的div标签里
URL链接都是以／wiki开头
----------
http://regexpal.com/网站 上在线测试正则表达式
-----------
不同邮箱服务器的邮箱地址的具体规则不尽相同
--------
邮箱的正则表达式
---------
[A-Za-z0-9\._+]+@[A-Za-z]+\.(com|org|edu|net)
----------
我们后面要建立的爬虫
也是顺着链接从一个页面跳转到另一个页面
描绘出一张网络地图
这次 不再忽略外链 跟着外链跳转
爬虫是不是可以记录我们浏览过的没一个页面上的信息
相比之前我们做的 单个域名采集
互联网采集要难的多
不同网站的布局迥然不同
意味着我们必须要寻找的信息以及查找方式上都极具灵活性
-------------
芝麻街
http://www.sesamestreet.org
------------
我要收集哪些数据？这些数据可以通过采集几个已经确定的 网站 完成吗？
我的爬虫需要发现那些我可能不知道的网站吗
--
我的爬虫到了某个站 是立即顺着出站链接跳到一个新站还是在网站上待会
深入采集网站的内容
有没有我不想采集的一类网站
对非英文网站的 内容感兴趣吗
我的行为引起了某个网站网管的怀疑
我如何避免法律责任
------
写网络爬虫的挑战之一 是你经常要重复一些简单人物
找出网页上的所有链接 区分内链 外链 跳到新的页面
-------
http://scrapy.org/dowmload
