2019年7月4日
Day04-爬取豌豆荚app数据
摘要： 今日内容: 一 爬取豌豆荚 爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多，观察network内的请求 - 请求url page2: https://www.wandoujia.com/wdjweb/api/categ 阅读全文
posted @ 2019-07-04 10:13 上天的98k消音 阅读(164) 评论(0) 推荐(0) 编辑
2019年7月3日
Day03课堂成果
摘要： 昨日回顾: 一 爬取豆瓣电音TOP250 1.爬取电影页 2.解析提取电影信息 3.保存数据 二 Selenium请求库 驱动浏览器往目标网站发送请求，获取响应数据。 - 不需要分析复杂的通信流程 - 执行js代码 - 获取动态数据 三 selenium使用 driver = webdriver.C 阅读全文
posted @ 2019-07-03 20:52 上天的98k消音 阅读(169) 评论(0) 推荐(0) 编辑
2019年7月2日
Day02课堂成果
摘要： 昨日回顾: 一 爬虫基本原理 - 爬虫全过程 1.发送请求 2.接收响应数据 3.解析并提取有价值的数据 4.保存数据 二 Requests请求库 - get url headers cookies - post url headers cookies data 三 爬取校花网视频 1.通过主页解析 阅读全文
posted @ 2019-07-02 21:48 上天的98k消音 阅读(118) 评论(0) 推荐(0) 编辑
2019年7月1日
day01课堂笔记2
摘要： 生成的github3如下：（仅供参考） 阅读全文
posted @ 2019-07-01 17:43 上天的98k消音 阅读(357) 评论(0) 推荐(0) 编辑
Day01课堂笔记
摘要： 一 爬虫基本原理 1、 什么是爬虫？ 爬虫就是爬取数据 2、 什么是互联网？ 有一堆网络设备，将一台台的计算机互联到一起，称之为互联网 3、 互联网建立的目的 数据的传递和数据的共享 4、 什么是数据？ 例如： 电商平台的商品信息（淘宝、东京、亚马逊） 链家、自如租房的房源信息 股票证券投资信息（东 阅读全文
posted @ 2019-07-01 15:23 上天的98k消音 阅读(109) 评论(0) 推荐(0) 编辑