摘要：
材料清单dockerscrapy当我们经常遇... 阅读全文
摘要：
这种问题一般是退出flask服务时选择了disconected而不是选择terminate，dicconected是一种伪断开，只是在pycharm这里中止了，但是python解释器依旧在运行这个服务。 默认选项... 阅读全文
摘要：
centos下 python3无法print... 阅读全文
摘要：
本文旨在经验交流，如若侵犯利益，请联系删除。2019.09.10下面的例子已经改为阿里的人机认证了，但是其实用selenium启动浏览器后，依旧可以用pynput来操控键鼠来完成模拟操作，单纯调用send_key... 阅读全文
摘要：
熟悉爬虫的，必定会熟悉各种反爬机制。今天就讲一下自己如何建立ip代理池的。一个合格的代理池必须拥有一个爬取代理IP的爬取器、一个验证IP可否使用的校验器、一个存储IP的数据库、调用这些的调度器以及可以供获取IP的... 阅读全文
摘要：
之前用scrapy爬取网页时经常出现需要验证码，但是返回的是个response对象，不知道要如何进行破解。以往都是selenium进行截图验证码，模拟拖动，但是scrapy在yield请求后就直接走了，不知道如何... 阅读全文
摘要：
对于爬虫而言验证码是一定要经过的坎，对于网站... 阅读全文
摘要：
本文仅作经验分享，不做商业用途，如涉及权利问... 阅读全文
摘要：
爬虫经常出现错误，多半是没等待控件加载出来。利用selenium虽然方便，但是还是需要控制一下等待时间。Selenium有两个常见的模块来控制等待。EC(expected_conditions)EC作为预期条件，... 阅读全文
摘要：
本文只是提供一些经验，实际情况下因地制宜。自己做了个Django项目，缓存用的是redis，部署到云服务器上，想要通过爬虫自动化注册账号。话不多说，一步步做。首先要准备账号数据，chorme利用ctrl+shif... 阅读全文
摘要：
后端到前端普通的字典传递exam_list = ExamList.objects.filter(id=exam_id)title = exam_list[0]return render(request, "exa... 阅读全文
摘要：
bytes 转换为 strstr(b, encoding = "utf-8") str(b, encoding = "gbk") encoding中写的是原来byte变量的编码 什么类型的编码的字节就要转换... 阅读全文