lin513

摘要： import scrapy class DouSpider(scrapy.Spider): name = "dou" #allowed_domains = ["www.douban.com"] start_urls = ["https://www.douban.com/doulist/1136522 阅读全文

摘要： scrapy框架 - 什么是框架 - 就是集成了很多功能并且具有很强通用性的一个项目模板 - 如何学习框架 - 专门学习框架封装的各种功能的详细用法 - 什么是scrapy - 爬虫中封装好的一个明星框架。 - 功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式部署 - scrapy 阅读全文

摘要： - 超级鹰 -注册：普通用户 -登录：普通用户 -题分查询：充值 - 创建一个软件（id） - 下载实例代码 - 下载核心代码 利用超级鹰进行图片验证的模拟登录 from selenium import webdriver from selenium.webdriver.common.keys im 阅读全文

摘要： from selenium import webdriver from time import sleep from selenium.webdriver.chrome.options import Options from selenium.webdriver import ChromeOptio 阅读全文

摘要： from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from time import sleep web_ 阅读全文

摘要： - 如果定位的标签在iframe中，需要先切换到iframe中 - 切换到iframe: driver.switch_to.frame('iframe的id属性值') -动作链(拖动):from selenium.webdriver import ActionChains - 实例化一个动作链对象 阅读全文

摘要： 代码中前面的导包还是报错 但是我明明已经下载完了 可能原因是我idea环境的问题 因为我用python命令直接运行是可以的 说明python环境没有问题 只能是编译器的问题 但是我还没有找到怎么改这个错误 阅读全文

摘要： 笔记 selenium 模块的基本使用 问题：selenium模块和爬虫之间具有怎样的关联 - 便捷的获取网站中动态加载的数据 - 便捷实现模拟登录 什么是selenium模块？ - 基于浏览器自动化的一个模块 selenium使用流程： - 环境的安装 pip install selenium - 阅读全文

摘要： 代码 找一个可以用的ip然后加入代理 用代理ip去访问 import requests # 114.255.132.60:3128 proxies ={ "https":"http://114.255.132.60:3128" } response = requests.get("http://ww 阅读全文

摘要： 这个爬虫做了很久 有几个问题 1.防盗链的问题：如下图所示Referer 这个就是回溯上一个网页 如果上一个网页不是Referer就会报错 这个就是我没有从那个网页访问的结果 2.在我自己爬取的时候不知道mrd是什么东西 以为跟countId一样是一个标识的东西 结果这只是一个随机的数 代码 # 防 阅读全文