摘要：
需求：由于特殊原因，某Python程序在运行中可能会中途崩溃需要重新运行。 工具：ProcessProtector.1.0.0.3.exe 将python程序使用pyinstaller打包成一个exe可执行文件，然后运行之后，使用上述工具进行守护即可。 阅读全文
摘要：
【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集 具体需求：从https://kd.nsfc.cn/网站中根据关键词搜索项目信息，收集列表中展示的信息以及详情页面中的参与人员信息等。 在开始干活之前，我们首先要做的是弄清楚需求，然后分析目标网址，确定目标数据所在接口及请求参数等 阅读全文
摘要：
打包命令 pyinstaller --onefile --windowed **.py 修改**.spec 文件 pathex=['/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/ddddoc 阅读全文
摘要：
需求：爬取豆瓣电影短评评论文本内容 目标：将爬取的文本存入 excel 中 爬虫步骤： 1.拼接分页网址，循环请求分页数据，获取HTML代码 2.分析获取到的HTML代码，解析出所需要的数据，提取内容 3.存储爬取到的数据 准备工作： 1.开发工具 pycharm 2.模块 requests、bs4 阅读全文
摘要：
需求： 在 js 中将两个网址信息拼接在一起。 如下代码如下： String.prototype.endsWith = function (end) { return this.length > 0 && this.indexOf(end) + end.length == this.length; 阅读全文
摘要：
需求： 从全国高校官方网站中爬取教师信息，包括姓名、介绍待信息。 目标： 将从各高校官网中爬取到的教师信息存入 excel 或 csv 中。 准备工作： 爬取目标的高校官网网址 具体操作如下： 1.经过分析，大部分高校网站的页面使用的是 GET 请求，部分使用了 POST 请求，其中有一部分网站使用 阅读全文
摘要：
需求： 从中华人民共和国国家标准之国民经济行业分类文件中读取解析出国民经济行业分类和代码。 目标： 从标准 PDF 文件中读取出行业分类中的门类、大类、中类、小类、类别名称信息。 准备工作： 1.python 开发环境 2.国民经济行业分类.pdf 代码： 第一步：从 pdf 中先找到需要的数据在哪 阅读全文
摘要：
Python爬虫之JS逆向采集某易云音乐网站 在获取音乐的详情信息时，遇到请求参数全为加密的情况，现解解决方案整理如下： JS逆向有两种思路： 一种是整理出js文件在Python中直接使用execjs调用js文件（可见我的另一篇文章《 python爬虫之企某科技JS逆向》）。 一种是根据JS中的逻辑 阅读全文
摘要：
Python爬虫之正则提取信息 有时候我们需要用到根据当前日期（或指定日期）获取是否为节假日的情况，网上找的接口突然开始收费了，怎么办呢。我们就从国家官方网站获取信息吧。 需求：从中华人民共和国中央人民政府网站（www.gov.cn）获取2022年节假日安排 提取具体的放假日期和调休上班数据 第一步 阅读全文
摘要：
Python爬虫之JS逆向案例 由于在爬取数据时，遇到请求头限制属性为动态生成，现将解决方式整理如下： JS逆向有两种思路： 一种是整理出js文件在Python中直接使用execjs调用js文件（可见我的另一篇文章《 python爬虫之企某科技JS逆向》）。 一种是根据JS中的逻辑，使用Python 阅读全文