2019年8月9日
爬虫学习索引
摘要： 索引目录 1.网络爬虫概述 2.爬虫请求模块 3.数据持久化存储 4.requests模块 5.Chrome浏览器安装插件 6.xpath解析.lxml解析库 7.request.get()和代理参数 8.requests.post() 9.动态加载数据抓取-Ajax 10.多线程爬虫 11.coo 阅读全文
posted @ 2019-08-09 20:04 maplethefox 阅读(486) 评论(0) 推荐(0) 编辑
Chrome浏览器安装插件
摘要： Chrome浏览器安装插件 1.安装方法 2.需要安装插件 爬虫常用插件 阅读全文
posted @ 2019-08-09 17:48 maplethefox 阅读(373) 评论(0) 推荐(0) 编辑
requests模块
摘要： 一安装 1.linux sudo pip3 install requests 2.windows 二常用方法 (一)requests.get() 1.作用 2.参数 3.相应对象(res)属性 4.非结构化数据保存 5.示例:保存赵丽颖图片到本地 6.练习 阅读全文
posted @ 2019-08-09 17:28 maplethefox 阅读(401) 评论(0) 推荐(0) 编辑
数据持久化存储
摘要： 一数据持久化存储-csv文件 1.作用 将爬取的数据存放到本地的csv文件中 2.使用流程 3.示例代码 创建text.csv文件,在文件中写入数据 练习:猫眼电影数据存入本地 maoyanfilm.csv 文件 - 使用writerow方法实现 思考：使用 writerows()方法实现？ imp 阅读全文
posted @ 2019-08-09 15:26 maplethefox 阅读(935) 评论(0) 推荐(0) 编辑