爬虫scrapy框架
摘要:Scrapt框架安装 # 下载过程 pip3 install scrapy # mac本基本可以直接安装成功 # windows可能会出现错误报错处理: """ 报错: error: Microsoft Visual C++ 14.0 or greater is required. Get it w
阅读全文
posted @
2021-01-20 11:02
杨梅冲
阅读(103)
推荐(0) 编辑
Xpath选择器
摘要:Xpath基础使用方法 '''谷歌浏览器右键html标签可以直接拷贝css选择器和xpath选择器''' # s-top-left > a:nth-child(4) # //*[@id="s-top-left"]/a[4] # 基本语法 # 模拟爬取过来的html页面数据 doc=''' <html
阅读全文
posted @
2021-01-15 09:45
杨梅冲
阅读(116)
推荐(0) 编辑
selenium操作浏览器模块
摘要:selenium模块用途 selenuim原先多用于测试部门测试,由于它可以操作浏览器,有时候也用于爬虫领域 优点:操作浏览器访问网站 缺点:速度较慢 下载模块 # 下载模块 pip3 install selenium """selenuim由于需要操作浏览器,所以在下载模块的基础之上还需要下载一个
阅读全文
posted @
2021-01-13 15:37
杨梅冲
阅读(152)
推荐(0) 编辑