随笔分类 - python网络爬虫
python网络爬虫（14）使用Scrapy搭建爬虫框架
摘要：目的意义 爬虫框架也许能简化工作量，提高效率等。scrapy是一款方便好用，拓展方便的框架。 本文将使用scrapy框架，示例爬取自己博客中的文章内容。 说明 学习和模仿来源：https://book.douban.com/subject/27061630/。 创建scrapy工程 首先当然要确定好
python网络爬虫（13）博客园用户信息爬取
摘要：说明 这里只放代码，方案技术没有更变 代码说明 需要cookies绕过登录，使用selenium在Firefox下模拟。需要安装geck...？插件，另外，数据存储在sqlite，需要安装。 Spider.py import HtmlDownloader import HtmlParser impo
python网络爬虫（12）去哪网酒店信息爬取
摘要：目的意义 爬取某地的酒店价格信息，示例使用selenium在Firefox中的使用。 来源 少部分来源于书。python爬虫开发与项目实战 构造 本次使用简易的方案，模拟浏览器访问，然后输入字段，查找，然后抓取网页中的信息。存储csv中。然后再转换为Excel，并对其中的数据进行二次处理。 代码 整
python网络爬虫（11）近期电影票房或热度信息爬取
摘要：目标意义 为了理解动态网站中一些数据如何获取，做一个简单的分析。 说明 思路，原始代码来源于：https://book.douban.com/subject/27061630/。 构造-下载器 构造分下载器，下载原始网页，用于原始网页的获取，动态网页中，js部分的响应获取。 通过浏览器模仿，合理制作
python网络爬虫（10）分布式爬虫爬取静态数据
摘要：目的意义 爬虫应该能够快速高效的完成数据爬取和分析任务。使用多个进程协同完成一个任务，提高了数据爬取的效率。 以百度百科的一条为起点，抓取百度百科2000左右词条数据。 说明 参阅模仿了：https://book.douban.com/subject/27061630/。 作者说是简单的分布式爬虫（
python网络爬虫（9）构建基础爬虫思路
摘要：目的意义 基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。 这里目的是爬取200条百度百科信息，并生成一个html文件，存储爬取的站点，词条，解释。 本文思路来源书籍。其代码部分来源书籍。https://book.douban.com/subje
python的Email提醒
摘要：目的意义 使用Email自动发送，有利于实时获取爬取信息，更方便的掌握要闻。 导入相关库 MINEText库定义了发送信息， Header定义了发送的主题 formate定义了收件人和发件人的格式信息。 smtplib定义了发送邮件的方案 time用于延时发送 from email.mime.tex
python网络爬虫（8）多媒体文件抽取
摘要：目的 批量下载网页图片 导入库 urllib中的request中的urlretrieve方法，可以下载图片 lxml用于解析网页 requests用于获取网站信息 import urllib from lxml import etree import requests 定义回调函数 回调函数中，co
python网络爬虫（7）爬取静态数据详解
摘要：目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码，提取数据。一些参考：https://www.cnblogs.com/zhangxinqi/p/9210211.html requests请求网页 chardet用于判断网页中的字符编码
python网络爬虫（6）爬取数据静态
摘要：爬取静态数据并存储json import requests import chardet from bs4 import BeautifulSoup import json user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/53
python网络爬虫（5）BeautifulSoup的使用示范
摘要：创建并显示原始内容 其中的lxml第三方解释器加快解析速度 import bs4 from bs4 import BeautifulSoup html_str = """ <html><head><title>The Dormouse's story</title></head> <body> <p
python网络爬虫（4）结构与基本概念
摘要：基本模型 请求与响应 import urllib.request as urllib2 request=urllib2.Request('http://www.zhihu.com') response=urllib2.urlopen(request) html=response.read() pri
python网络爬虫（3）python爬虫遇到的各种问题（python版本、进程等）
摘要：import urllib2 源地址 在python3.3里面，用urllib.request代替urllib2 import urllib.request as urllib2 import cookielib 源地址 Python3中，import cookielib改成 import http
python网络爬虫（2）回顾Python编程
摘要：文件写入 def storFile(data,fileName,method='a'): with open(fileName,method,newline ='') as f: f.write(data) pass pass storFile('123', '1.txt') 文件读取 with o
python网络爬虫（1）静态网页抓取
摘要：获取响应内容： import requests r=requests.get('http://www.santostang.com/') print(r.encoding) print(r.status_code) print(r.text) 获取编码，状态（200成功，4xx客户端错误，5xx服务
