摘要：
BeautifulSoup官方文档:https://beautifulsoup.readthedocs.io/zh_CN/latest/#id8 太繁琐的,精简了一些自己用的到的。 1.index.html 2..prettify()--标准的缩进格式输出 3.选择标签,属性 2.find_all 阅读全文
posted @ 2018-09-13 16:52 eilinge 阅读(468) 评论(0) 推荐(0) 编辑
摘要：
一直在学习scrapy的爬虫知识,但是遇到了动态加载页面的难题,从一开始的javascript渲染器--splash,docker服务, 遇到各种奇葩的问题： 1.docker代理设置添加无效,导致无法拉取splash镜像 2.settings.py中开启splash服务,导致无法ssl连接 然后看 阅读全文
posted @ 2018-09-13 11:59 eilinge 阅读(1099) 评论(0) 推荐(0) 编辑
摘要：
1.format函数--根据关键字和位置选择性插入数据 2.不使用Python内置函数对列表进行排序 3.python之json 代码实例: traceback:捕获并打印异常 快速排序 sort,sorted 阅读全文
posted @ 2018-09-10 14:12 eilinge 阅读(170) 评论(0) 推荐(0) 编辑
摘要：
大家好,我胡汉三又回来了!!!开心QAQ 由于最近一直在忙工作的事,之前学的一些爬虫知识忘得差不多了,只能再花多一些时间来回顾,否则根本无法前进。所以在这里也像高中老师那样提醒一下大家,--每天晚上花一点时间回顾一下,会省去很多回来再看的时间。 好了,闲话扯完了,让我们开始今天学到的知识点:一次运行 阅读全文
posted @ 2018-09-07 14:57 eilinge 阅读(467) 评论(0) 推荐(0) 编辑
摘要：
分布式爬虫:scrapy本身并不是一个为分布式爬取而设计的框架,但第三方库scrapy-redis为其扩展了分布式爬取的功能,两者结合便是一个分布式Scrapy爬虫框架。在分布式爬虫框架中,需要使用某种通信机制协调各个爬虫的工作,让每一个爬虫明确自己的任务： 前期准备:Redis的安装与基本知识(h 阅读全文
posted @ 2018-09-03 16:17 eilinge 阅读(447) 评论(0) 推荐(0) 编辑
摘要：
有一段时间没来博客了,前一个星期没能从分手中走出来,心里很是落寞,没有学习的劲;第二个星期,由于要忙着在公司升级系统,所以就把学习给荒废了。还好皇天不负有心人,我开始了自己读书之后《我的人生,我在乎》,遇到困难保持乐观的心态,失恋都没能把我击垮,还有什么难事!就这样,工作这边的事情通过自己的努力,已 阅读全文
posted @ 2018-08-24 09:17 eilinge 阅读(179) 评论(0) 推荐(0) 编辑
摘要：
昨天晚上看了一些关于保存文件的相关资料,早早的睡了,白天根据网上查找的资料,自己再捡起来.弄了一上午就爬取出来了,开心!!!好吧,让我们开始 老规矩,先上图。大家也赶快行动起来 分类文件: 文件内coding.py 1.matlib.py 2.items.py 3.pipelines.py# -*- 阅读全文
posted @ 2018-08-02 16:13 eilinge 阅读(244) 评论(0) 推荐(0) 编辑
摘要：
喜欢看电影的小伙伴,如果想看新的电影,然后没去看电影院看,没有正确的获得好的方法,大家就可以在电影天堂里进行下载。这里给大家提供一种思路。 1.dytt.py 2.items.py 3.pipelines.py 4.settings.py 在pipelines.py文件中写入.json格式 2.开始 阅读全文
posted @ 2018-08-01 16:37 eilinge 阅读(12103) 评论(0) 推荐(0) 编辑
摘要：
年轻人都爱斗图,可是有时候斗图的数量比较少.就想办法收藏其他的人图片,然而只要能在doutula网页里爬取图片,是一件很棒的的事,看别人写爬斗图的爬虫程序有点麻烦,自己也来动动手,简单,实用.给大家分享一下。先给大家看看成果,喜欢的话,就开始吧!!! 1.doutu.py 2.items.py 3. 阅读全文
posted @ 2018-08-01 15:59 eilinge 阅读(510) 评论(0) 推荐(0) 编辑