xpath和contains模糊匹配
摘要：来源：https://www.cnblogs.com/kaibindirver/p/12072546.html 最近在弄数据爬取，研究了下xpath,也参考了很多文章，这篇总结不错，就直接复制过来了。 常见的用法举例： #它会取class含有有test1和test2的元素 xpath('//div[
阅读全文
posted @ 2024-03-23 15:46
03 2024 档案
在win10下用pyinstaller打包scrapy项目生成exe文件
摘要：这个玩意的使用方法很简单，但是有很多坑，特别是项目稍微大一点，import引用的很多的时候，那就是打包要人命了，基本不会正常。 注意有时候还需要执行 pip install pywin32 之后再进行打包。 1、打包完之后，无法导入 模块。 譬如：你用 pyinstaller -F entrypoi
阅读全文
posted @ 2024-03-18 09:09
python的代码发布到服务器上需要注意的事项
摘要：1、服务器的python运行环境配置。从官网上 https://www.python.org/ 下载服务器操作系统对应的版本。 然后配置 python和 pip命令运行的环境变量，这是windows下的 检查是否正常： 2、开发时引用的第三方库要在服务器上安装。 a.首先 获取需要的第三方库列表 p
阅读全文
posted @ 2024-03-15 09:09
从网上下载一个python项目后如何下载项目需要的第三方库
摘要：1.首先 获取需要的第三方库列表 pip freeze > requirements.txt 导入到文件中。 2、从文件中进行批量安装 pip install -r requirements.txt
阅读全文
posted @ 2024-03-12 16:45
python得scrapy提取数据 xpath注意事项
摘要：在提取器过滤数据这个地方被坑了很久，确实有点坑，有点难以理解，多注意下就可以了。 from multiprocessing import allow_connection_pickling from scrapy.spiders import Spider from ..items import C
阅读全文
posted @ 2024-03-12 14:26
python得scrapy抓中文，保存csv、json、txt文件乱码解决方法
摘要：保存json和txt文件，出现这种东西不是乱码，是unicode，例如： \u96a8\u6642\u66f4\u65b0> \u25a0\u25a0\u25a 在settings.py文件中加入下面一句code，之后就是中文了。 FEED_EXPORT_ENCODING ='utf-8' 保存cs
阅读全文
posted @ 2024-03-12 10:54
visual studio中创建python的爬虫 scrapy项目
摘要：scrapy教程：https://zhuanlan.zhihu.com/p/598764670 xpath教程：https://www.runoob.com/xpath/xpath-syntax.html 1.在命令行中安装 scrapy环境。一定要安装，是为了在指定的目录下创建一个 scrapy的
阅读全文
posted @ 2024-03-11 15:53
