摘要：
许多网站针对爬虫的访问都设置了一定的障碍，这里介绍防反爬虫机制的 3 大技巧。 1）设定程序休止时间 2）设定代理 3）设定 User-Agent 1）设定程序休止时间 1 import time 2 3 time.sleep(n) 2）设定代理 代理服务器的存在，可以应对网站禁止某个 IP 访问的 阅读全文
摘要：
1. Xpath 1.1 Xpath 简介 1.2 Xpath 使用案例 2. BeautifulSoup 2.1 BeautifulSoup 简介 2.2 BeautifulSoup 使用案例 1）爬取“NATIONAL WEATHER”的天气数据 2）爬取豆瓣电影 TOP 250 的电影名与链接 阅读全文
摘要：
1. 爬虫简介 2. requests 基础用法 3. urlretrieve() 1. 爬虫简介 爬虫的定义 网络爬虫（又被称为网页蜘蛛、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 爬虫有什么用 市场分析：电商分析、商圈分析、一二级市场分析等 市场监控：电商、新闻、房 阅读全文