摘要: 元素定位 获取页面元素属性 元素判断 元素操作 操作输入框/单击 双击 下拉框操作 键盘操作 鼠标操作 单选框操作 多选框操作 拖动窗口 操作 JS 框 切换 frame 使用 JS 操作页面对象 操作滚动条 浮动(联想)选项选择 更改页面对象的属性值 文件下载 文件上传 操作日期控件 操作富文本框 阅读全文
posted @ 2021-01-10 23:23 Juno3550 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 若不设置进行下述配置,那么 webdriver 每次启动火狐浏览器,默认都是一个不太有任何插件的浏览器被启动。 通过配置的方式,指定一个浏览器设置来启动,就可以使用以前安装的插件或配置信息了。 步骤一:打开火狐配置窗口 cmd 执行下述命令,会弹出火狐配置窗口: firefox.exe -Profi 阅读全文
posted @ 2021-01-04 23:33 Juno3550 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 读取ini配置文件 配置项 读取API 写入API 实战:UI 对象库 读取ini配置文件 配置项 在每个 ini 配置文件中,配置数据会被分组(比如下述配置文件中的“config”和“cmd”),每个分组中又可以指定对应的变量值。 示例:test.ini # 定义config分组 [config] 阅读全文
posted @ 2021-01-04 22:53 Juno3550 阅读(222) 评论(0) 推荐(0) 编辑
摘要: 实现方法 find_all_file(queue, path, file_type=None):统计文件个数。 all_file_code_count(queue, path, file_type=None):使用多进程来统计队列中的代码总行数。 single_file_code_count(que 阅读全文
posted @ 2020-12-28 01:14 Juno3550 阅读(208) 评论(0) 推荐(0) 编辑
摘要: 1. Scrapy 简介 2. Scrapy 项目开发介绍 3. Scrapy 项目代码示例 3.1 setting.py:爬虫基本配置 3.2 items.py:定义您想抓取的数据 3.3 spider目录下的sohu.py:编写提取数据的Spider 3.4 pipelines.py:将爬取后的 阅读全文
posted @ 2020-12-19 00:53 Juno3550 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 1. 多进程访问 1000 个 url 2. 多线程访问 1000 个 url 3. 协程访问 1000 个 url 4. 多进程+协程访问 1000 个 url 5. 多线程+协程访问 1000 个 url 6. 总结 代码下载:https://github.com/juno3550/Multit 阅读全文
posted @ 2020-12-18 00:42 Juno3550 阅读(137) 评论(0) 推荐(1) 编辑
摘要: 许多网站针对爬虫的访问都设置了一定的障碍,这里介绍防反爬虫机制的 3 大技巧。 1)设定程序休止时间 2)设定代理 3)设定 User-Agent 1)设定程序休止时间 1 import time 2 3 time.sleep(n) 2)设定代理 代理服务器的存在,可以应对网站禁止某个 IP 访问的 阅读全文
posted @ 2020-12-06 23:13 Juno3550 阅读(433) 评论(0) 推荐(0) 编辑
摘要: 1. Xpath 1.1 Xpath 简介 1.2 Xpath 使用案例 2. BeautifulSoup 2.1 BeautifulSoup 简介 2.2 BeautifulSoup 使用案例 1)爬取“NATIONAL WEATHER”的天气数据 2)爬取豆瓣电影 TOP 250 的电影名与链接 阅读全文
posted @ 2020-12-06 23:03 Juno3550 阅读(2465) 评论(0) 推荐(0) 编辑
摘要: 1. 爬虫简介 2. requests 基础用法 3. urlretrieve() 1. 爬虫简介 爬虫的定义 网络爬虫(又被称为网页蜘蛛、网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 爬虫有什么用 市场分析:电商分析、商圈分析、一二级市场分析等 市场监控:电商、新闻、房 阅读全文
posted @ 2020-12-06 20:24 Juno3550 阅读(977) 评论(0) 推荐(0) 编辑
摘要: 0. 概述 1. 循环版实现多连接 2. threading.Thread 多线程 3. SockerServer 实现多任务 3.1 ForkingMixIn - 多进程(限 linux) 3.2 ThreadingMixIn - 多线程 3.3 ThreadingTCPServer - 线程池 阅读全文
posted @ 2020-11-29 00:26 Juno3550 阅读(2605) 评论(0) 推荐(0) 编辑