创客未来

2022年5月30日

摘要：什么是scrapy shell ？ scrapy终端，是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码/其本意是用来测试提取数据的代码，不过您可以将其作为正常的python终端，在上面测试任何的python代码。该终端是用来测试xpath或css表达式，查看他们的工作方式及从阅读全文

posted @ 2022-05-30 13:28 创客未来阅读(20) 评论(0) 推荐(0) 编辑

爬虫_scrapy_项目结构目录和基本方法

摘要： 1.scrapy的项目结构 scrapy项目的结构项目名字项目名字 spiders文件夹（存储的是爬虫文件） init.py(默认文件) 自定义的爬虫文件（核心功能文件*） init items 定义数据结构的地方，爬取的数据都包含那些 middleware 中间件例如：代理 pipeline 阅读全文

posted @ 2022-05-30 11:14 创客未来阅读(215) 评论(0) 推荐(0) 编辑

2022年5月27日

爬虫_scrapy_基本使用

摘要： 1.scrapy是什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 2.安装scrapy pip install scrapy -i https://pypi.douban.com/simple 常见报错及解阅读全文

posted @ 2022-05-27 16:34 创客未来阅读(39) 评论(0) 推荐(0) 编辑

爬虫_request_cookie登录（隐藏域和验证码）

摘要： #通过登录然后进入到主页面 # 通过找登录接口我们发现登录的时候需要的参数很多 # __VIEWSTATE: Q9zeukk7PE5h9KCMT1uBtHMfNp6+Kfkwk5KywR928SJ/NJwdBGx04xq662yh/fA3/UuhXe7hlF0C19KQ3PHIFzj37k4o/UH 阅读全文

posted @ 2022-05-27 15:52 创客未来阅读(196) 评论(0) 推荐(0) 编辑

2022年5月26日

爬虫_requests

摘要： 1.基本使用 1.1 文档官方文档： http://cn.python-requests.org/zh_CN/latest/ 快速上手： http://cn.python-requests.org/zh_CN/latest/user/quickstart.html 1.2.安装 pip insta 阅读全文

posted @ 2022-05-26 16:53 创客未来阅读(26) 评论(0) 推荐(0) 编辑

爬虫_selenium_Chrome handless

摘要： Chrome-headless 模式，Google针对Chrome浏览器59版本新增加的一种模式，可以让你不打开UI界面的情况下使用Chrome浏览器，所以运行效果于Chrome保持完美一致。 from selenium import webdriver from selenium.webdrive 阅读全文

posted @ 2022-05-26 16:08 创客未来阅读(158) 评论(0) 推荐(0) 编辑

爬虫_selenium_Phantomjs(停更了)

摘要： 1.什么是Phantomjs？（1）是一个无界面的浏览器（2）支持页面元素查找，js的执行等（3）由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多 2.如何使用Phantomjs? 获取PhantomJS.exe文件路径path browser=webdriver.Phantom 阅读全文

posted @ 2022-05-26 15:54 创客未来阅读(41) 评论(0) 推荐(0) 编辑

爬虫_selenium_访问元素信息及交互

摘要： 1.访问元素信息获取元素属性 .get_attribute('class') 获取元素文本 .text 获取标签名 .tag_name from selenium import webdriver from selenium.webdriver.common.by import By path = 阅读全文

posted @ 2022-05-26 15:43 创客未来阅读(46) 评论(0) 推荐(0) 编辑

爬虫_selenium_元素定位

摘要：元素定位：自动化要做的就是模拟鼠标和键盘来操作这些元素，点击、输入等等。操作这些元素前首先要找到它们，webDriver提供很多定位元素的方法方法： 1. find_element_by_id # 根据id来找到对象 button = browser.find_element_by_id('su' 阅读全文

posted @ 2022-05-26 11:18 创客未来阅读(60) 评论(0) 推荐(0) 编辑

2022年5月25日

爬虫_selenium_基本使用

摘要： 1.什么是selenium？（1）selenium是一个用于web应用程序测试工具（2）selenium测试直接运行在浏览器中，就像真正的用户在操作一样（3）支持通过各种driver（FirfoxDirver,IternetExploreDriver,OperaDriver,ChromeDri 阅读全文

posted @ 2022-05-25 16:17 创客未来阅读(47) 评论(0) 推荐(0) 编辑

公告