摘要：
最近在做一些接口，需要使用docker打包发布。 接口的内容不多，文件结构也不复杂，使用的是Flask框架开发的。 一、Docker file docker打包需要一个Dockerfile，指挥怎么打包怎么运行。 使用了一个简单的Dockerfile模板 FROM python:3.7.5 RUN 阅读全文
摘要：
爬虫经常用到ip代理。解决方案无非几种： 1.网络上寻找一些免费代理，优点：免费不限量；缺点：可用性较低，验证费时间费资源。一些有免费代理的网站，西刺代理，站大爷，89免费代理等等，网上可以搜出一大堆。 2.购买代理ip，和找免费的差不多，一般有免费代理ip的网站基本都有收费的api。优点：可用性较 阅读全文
摘要：
尝试一下抓取微信公众号历史文章。 采集的主要信息有：标题、描述、作者、评论数、阅读数、在看数、发布时间、文章链接 主要有这几个步骤： 需要准备工具： fiddler 微信PC客户端 使用python3，相应环境自己搭建。 分析流程： 首先，打开fiddler，操作一下自己的微信，访问一些公众号，然后 阅读全文
摘要：
之前写了一个爬虫的包，主要是根据自己写爬虫的情况总结一下。 因为每次都要重复写一些代码，所以提炼出来，类似一个框架的样子吧。 开始是放在自己的项目里引用，但如果换了一个项目，就得重新拷一遍，很麻烦。 后面又学到了，放在site-package里面可以在自己的环境引用，但换一个环境也是不行的，于是想到 阅读全文
摘要：
最近老是遇到这个问题。 SSLError(SSLError(1, '[SSL: CERTIFIC ATE_VERIFY_FAILED] certificate verify failed (_ssl.c:841)')) 错误代码841，结果是Fiddler没关，好吧。 搜半天，真的浪费时间。 写一些 阅读全文
摘要：
最近使用flask写了一些简单的服务。 服务部署到服务器上进行使用，这个过程会有一些问题，需要进行记录一下。 说明运行的环境情况。使用的是python3.6的虚拟环境，系统是centos7，其他的有uwsgi，supervisor，ngnix。 首先准备一个简单的flask服务。 代码ipapp.p 阅读全文
摘要：
一、请求参数形式为xml 举例说明。 现在有这样一个网址：https://www.runff.com/html/live/s1484.html；想要查询图片列表，打开F12，观察到请求如下： 这里的请求参数形式为xml，使用python模仿请求的代码这样写 这里主要使用了post方法，将xml的参数 阅读全文
摘要：
最近需要使用浏览器模拟访问页面，同时需要使用不同的ip访问，这个时候就考虑到在使用浏览器的同时加上ip代理。 本篇工作环境为win10,python3.6. Chorme 使用Chrome浏览器模拟访问，代码如下 “D:/tools/wedriver/chromedriver.exe” 是下载的谷歌 阅读全文
摘要：
最近爬取一个网站时，遇到了验证码的情况。验证码形式是计算题，10以内的数字(可能有少量十以上)，加减乘计算。 开始懒得搞，第一批需要的数据量并不大，想着直接平台打码。 原因是以前登录新浪微博的时候也是直接打码的，比较熟练，也简便。但打码成本比较高，后续需求量大，所以最好自己能识别。 看了几篇识别验证 阅读全文
摘要：
来了一台新机器，装环境的时候，突然想直接在右键使用cygwin。 查了一些教程，基本大同小异，也算是有用，先贴一个链接： https://blog.csdn.net/yang_hong_/article/details/52490266 总结原理是： 1.在系统的注册表添加cygwin的路径 2.修 阅读全文