摘要： """ 模拟浏览器登录-处理cookie 防盗链处理-抓取梨视频 代理-防止被封IP """ # http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"} # # http://dushu.baidu.com/api 阅读全文

摘要： 场景：目标抓取1万条数据 执行过程如下： 请求url 得到相应 从相应中提取内容 存到本地 按照逻辑是线性过程，效率太低 可采用异步操作，可考虑3种方式：多线程，多进程，协程 1.快速学会多线程 2.快速学会多进程 3.线程池和进程池 4.拔光新发地 5.协程 6.多任务异步协程实现 7.aioht 阅读全文