摘要: 自动化测试工具,支持多种浏览器,在爬虫中主要用来解决JavaSript渲染的问题。 (驱动浏览器,发送一些指令,让浏览器完成一些动作) requests urllib这些库无法正常获取网页内容时,这些网页可能是后来javascript渲染过的,用selenium可以完成渲染,获取到网页渲染完后的源代 阅读全文
posted @ 2018-06-16 17:15 RongHe 阅读(832) 评论(0) 推荐(0) 编辑
摘要: 强大又灵活的网页解析库,如果觉得正则表达式写起来太麻烦,而BeautifulSoup语法太难记,但是熟悉jQuery的语法,那么PyQuery就是一个绝佳选择。 安装:pip3 install pyquery 初始化 字符串初始化 URL初始化 这种是传入一个url,会自动请求这个url,把源代码给 阅读全文
posted @ 2018-06-16 15:26 RongHe 阅读(375) 评论(0) 推荐(0) 编辑