随笔分类 - python
python学习记录
摘要：需求：由于特殊原因，某Python程序在运行中可能会中途崩溃需要重新运行。 工具：ProcessProtector.1.0.0.3.exe 将python程序使用pyinstaller打包成一个exe可执行文件，然后运行之后，使用上述工具进行守护即可。
阅读全文
摘要：【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集 具体需求：从https://kd.nsfc.cn/网站中根据关键词搜索项目信息，收集列表中展示的信息以及详情页面中的参与人员信息等。 在开始干活之前，我们首先要做的是弄清楚需求，然后分析目标网址，确定目标数据所在接口及请求参数等
阅读全文
摘要：需求： 从全国高校官方网站中爬取教师信息，包括姓名、介绍待信息。 目标： 将从各高校官网中爬取到的教师信息存入 excel 或 csv 中。 准备工作： 爬取目标的高校官网网址 具体操作如下： 1.经过分析，大部分高校网站的页面使用的是 GET 请求，部分使用了 POST 请求，其中有一部分网站使用
阅读全文
摘要：需求： 从中华人民共和国国家标准之国民经济行业分类文件中读取解析出国民经济行业分类和代码。 目标： 从标准 PDF 文件中读取出行业分类中的门类、大类、中类、小类、类别名称信息。 准备工作： 1.python 开发环境 2.国民经济行业分类.pdf 代码： 第一步：从 pdf 中先找到需要的数据在哪
阅读全文
摘要：Python爬虫之JS逆向采集某易云音乐网站 在获取音乐的详情信息时，遇到请求参数全为加密的情况，现解解决方案整理如下： JS逆向有两种思路： 一种是整理出js文件在Python中直接使用execjs调用js文件（可见我的另一篇文章《 python爬虫之企某科技JS逆向》）。 一种是根据JS中的逻辑
阅读全文
摘要：Python爬虫之正则提取信息 有时候我们需要用到根据当前日期（或指定日期）获取是否为节假日的情况，网上找的接口突然开始收费了，怎么办呢。我们就从国家官方网站获取信息吧。 需求：从中华人民共和国中央人民政府网站（www.gov.cn）获取2022年节假日安排 提取具体的放假日期和调休上班数据 第一步
阅读全文
摘要：Python爬虫之JS逆向案例 由于在爬取数据时，遇到请求头限制属性为动态生成，现将解决方式整理如下： JS逆向有两种思路： 一种是整理出js文件在Python中直接使用execjs调用js文件（可见我的另一篇文章《 python爬虫之企某科技JS逆向》）。 一种是根据JS中的逻辑，使用Python
阅读全文
摘要：python爬虫简单js逆向案例在学习时需要用到数据，学习了python爬虫知识，但是在用爬虫程序的时候就遇到了问题。具体如下，在查看请求数据时发现返回的数据是加密的信息，现将处理过程记录如下，以便大家学习交流。 内容简介 需求：爬取某企科技网站投资事件栏目https://qimingpian.cn
阅读全文
摘要：有时候我们在开发程序的时候遇到省市县区信息的选择，现有从官方网站采集整理的最新数据，有需要的可以联系一下。
阅读全文
摘要：思路： 第一步：使用pypeteer.launcher打开浏览器， 第二步：向CNZZ的登录（通过使用iframe嵌入的阿里巴巴单点登录页面），向iframe页面中自动输入用户名和密码，然后点击登录按钮； 第三点：打开CNZZ的相关页面，然后取cookie信息。 第四步：拿到cookie信息之后，就
阅读全文
摘要：思路： 第一步：使用pypeteer.launcher打开浏览器， 第二步：找到mta的登录页面，默认是使用QQ登录的，需要再触发一下切换使用帐号密码登录的按钮（通过使用iframe嵌入的腾讯单点登录页面），向iframe页面中自动输入用户名和密码，然后点击登录按钮； 第三点：打开MTA的相关页面，
阅读全文
摘要：项目中要在excel要跨工作簿根据一列数据获取另一列的数据，而excel本身的函数vlookup一直不太好用，只能用程序进行处理了，最近刚接触了python，灵机一动使用Python进行处理，先将json格式处理成csv格式，再保存为excel，由于工作日报中要根据之前的json数据进行统计，数据行
阅读全文
摘要：现有一个需求要将json转成excel，使用python将其转为csv格式，使用excel打开即可。
阅读全文
