2018年9月13日

scrapy--BeautifulSoup

摘要： BeautifulSoup官方文档:https://beautifulsoup.readthedocs.io/zh_CN/latest/#id8 太繁琐的,精简了一些自己用的到的。 1.index.html 2..prettify()--标准的缩进格式输出 3.选择标签,属性 2.find_all 阅读全文

posted @ 2018-09-13 16:52 eilinge 阅读(468) 评论(0) 推荐(0) 编辑

scrapy--selenium

摘要： 一直在学习scrapy的爬虫知识,但是遇到了动态加载页面的难题,从一开始的javascript渲染器--splash,docker服务, 遇到各种奇葩的问题： 1.docker代理设置添加无效,导致无法拉取splash镜像 2.settings.py中开启splash服务,导致无法ssl连接 然后看 阅读全文

posted @ 2018-09-13 11:59 eilinge 阅读(1099) 评论(0) 推荐(0) 编辑