摘要: 实现思路: 由于反扒机制,所以需要做代理切换,去爬取,内容通过BeautifulSoup去解析,最后入mysql库 1.在西刺免费代理网获取代理ip,并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求,带上代理 3.内容入库 注:日志模块在上一篇随笔 下面附上代码 1.可 阅读全文
posted @ 2018-10-19 11:27 不负前行 阅读(484) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- import logging # logName 日志中的某个格式化的字段名,logFile生成的日志文件名 def getlogger(logName, logFile): logger=logging.getLogger(logName) logger.setLevel(log... 阅读全文
posted @ 2018-10-19 11:18 不负前行 阅读(436) 评论(0) 推荐(0) 编辑