摘要： 爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多，观察network内的请求请求url page2: https://www.wandoujia.com/wdjweb/api/category/more? catId=6 阅读全文

摘要： 选择器 element: 查找一个 elements: 查找多个 by_id by_class_name by_name by_link_text by_partial_link_text by_css_selector Selenium剩余部分 1.元素交互操作: 点击、清除 click clea 阅读全文

摘要： 一 requests请求库爬取豆瓣电影信息 - 请求url https://movie.douban.com/top250 2、为什么要使用selenium？ 优点: - 执行js代码 - 不需要分析复杂的通信流程 - 对浏览器做弹窗、下拉等操作 - ***** 获取动态数据 - *** 破解登录验 阅读全文

摘要： import requests import re login_url='https://github.com/login' login_header={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 S... 阅读全文

摘要： 今日内容: 爬虫课程: 一爬虫基本原理 二requests请求库 一爬虫基本原理 1、什么是爬虫? 爬虫就是爬取数据。 2、什么是互联网? 由一堆网络设备，把一台台的计算机互联到一起称之为互联网。 3、互联网建立的目的 数据的传递与数据的共享。 4、什么是数据? 例如: 电商平台的商品信息(淘宝、京 阅读全文