摘要: selenium模块 超级鹰取验证码 1、登录超级鹰(http://www.chaojiying.com/),点击“用户登录”,输入用户名和密码登录。 2、点击左侧的“软件ID”栏目,点击“生成一个软件ID”,名称任意,软件ID请记住。 3、点击频道“开发文档”,选择“python”,点击“点击这里 阅读全文
posted @ 2021-04-15 18:52 wangshanglinju 阅读(80) 评论(0) 推荐(0) 编辑
摘要: selenium模块 一、无头浏览器 # 艺恩 https://www.endata.com.cn/BoxOffice/BO/Year/index.html 年度票房数据 # 带下拉列表 from selenium.webdriver import Chrome from selenium.webd 阅读全文
posted @ 2021-04-14 18:30 wangshanglinju 阅读(260) 评论(0) 推荐(0) 编辑
摘要: selenium模块 一、安装并设置 1、安装 pip install selenium 2、安装浏览器驱动 这里提供谷歌浏览器驱动下载,chrome驱动地址:https://npm.taobao.org/mirrors/chromedriver 找到适合本机浏览器的版本号下载。 下载的驱动可以放在 阅读全文
posted @ 2021-04-12 08:39 wangshanglinju 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 进程是资源单位,线程是执行单位,每一个进程至少需要一个线程 一、多线程 1、单线程 def fun(): for i in range(1000): print("fun",i) if __name__ == '__main__': for i in range(1000): print("main 阅读全文
posted @ 2021-04-06 10:22 wangshanglinju 阅读(84) 评论(0) 推荐(0) 编辑
摘要: xpath模块解析 Xpath是一门在 XML 文档中查找信息的语言。 Xpath可用来在 XML文档中对元素和属性进行遍历。而我们熟知的HTML恰巧属于XML的一个子集。所以完全可以用xpath去查找html中的内容。 一、安装lxml模块 pip install lxml 用法:1、将要解析的h 阅读全文
posted @ 2021-04-02 18:26 wangshanglinju 阅读(217) 评论(3) 推荐(1) 编辑
摘要: BeautifulSoup 模块 一、安装 pip install bs4 二、使用 bs4在使用的时候需要参考一些html基本语法来进行,我们尝试抓取北京新发地时长的农产品价格。地址:http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml 步 阅读全文
posted @ 2021-03-31 16:12 wangshanglinju 阅读(543) 评论(0) 推荐(0) 编辑
摘要: 数据解析 一、正则表达式 Regular Expression,正则表达式是一种使用表达式的方式对字符串进行匹配的语法规则。 我们抓取到的网页源代码本质上就是一个超长的字符串, 想从里面提取内容。用正则再合适不过了。 正则的优点: 速度快, 效率高, 准确性高 正则的缺点: 新手上手难度有点高。 不 阅读全文
posted @ 2021-03-28 16:54 wangshanglinju 阅读(95) 评论(0) 推荐(0) 编辑
摘要: requests模块 在网页抓取中,有一个强大的requests库能够让你轻易地发送HTTP请求,这个库功能完善,而且操作非常简单。requests是第三方模块,我们相爱使用前必须安装该模块,安装方法: pip install requests 安装源服务器在国外,速度较慢,如果安装失败或提高安装速 阅读全文
posted @ 2021-03-26 10:13 wangshanglinju 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫(Web Spider) 一、什么是网络爬虫 百度百科是这么说的:网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫最重要的应用就 阅读全文
posted @ 2021-03-25 17:48 wangshanglinju 阅读(56) 评论(0) 推荐(0) 编辑
摘要: python基础暂时搞一段落,后会有期! 阅读全文
posted @ 2021-03-25 15:48 wangshanglinju 阅读(11) 评论(0) 推荐(0) 编辑