2018 年 3月 24 日随笔档案 - GhostAatrox

2018年3月24日

摘要： import requests from bs4 import BeautifulSoup from multiprocessing import Pool headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.288... 阅读全文

posted @ 2018-03-24 00:56 GhostAatrox 阅读(221) 评论(0) 推荐(0) 编辑

爬虫之异常错误、面临的各种小问题以及处理方法。

摘要：此页记录从学爬虫以来的所有错误、问题以及处理方法：反反爬虫： 1.验证码问题（学习传统验证码、滑动验证码后详细记录）#暂未解决 2.IP被封或访问频繁（用IP池）#暂未解决 3.设置多重分链如：href = 全站+跳转site或href =/跳转site、or 爬取的TAG多变（跳转报错后构建阅读全文

posted @ 2018-03-24 00:54 GhostAatrox 阅读(152) 评论(0) 推荐(0) 编辑