12 2022 档案

24.selenium

摘要：selenium 爬虫与反爬虫之间的斗争爬虫：对某个网站数据或图片感兴趣，开始抓取网站信息；网站：请求次数频繁，并且访问ip固定，user_agent也是python，开始限制访问；爬虫：通过设置user_agent，并添加代理ip请求；网站：压力过大，不符合常规现象，开始设置登陆访问；爬阅读全文

posted @ 2022-12-04 20:48 做笔记的一天阅读(32) 评论(0) 推荐(0) 编辑

23.多进程

摘要：多进程使用进程实现多任务 multiprocessing模块就是跨平台的多进程模块提供了有个Process类来代表一个进程对象，这个对象可以理解为一个独立的进程，可以执行另外的事情进程和线程之间的对比进程：能够完成多任务，一台电脑可以开多个浏览器线程：能够完成多任务，一个微信可以同时和多人聊阅读全文

posted @ 2022-12-02 22:16 做笔记的一天阅读(28) 评论(0) 推荐(0) 编辑