该文被密码保护。 阅读全文
摘要：
【python】统一转换日期格式dateutil.parser.parse 背景： 我有很多很多的日志数据，每个日志里面都有日期字符串，我需要将其转换为datetime格式。 问题是，这些日志里的字符串格式五花八门，有2017-05-25T05:27:30.313292255Z，有2016-07-0 阅读全文
摘要：
import os, time, fnmatch from docx import Document class search: def __init__(self, path, search_string, file_filter): self.search_path = path self.search_string = search_string se... 阅读全文
摘要：
大规模爬虫流程总结 爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当 阅读全文
摘要：
一、在这里selenium的作用 （1）模拟的登录。 （2）获取登录成功之后的cookies 代码 通过使用cookies = driver.get_cookies() #我们获取了cookie那么我们怎用呢。 二、requests如何使用获取到的cookies 1.创建一个Session对象 2. 阅读全文