08 2018 档案

scrapy分布式
摘要：开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scrapy项目的settings.py中的！ #启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重DUPEFILTE 阅读全文
posted @ 2018-08-15 16:47 力王7314 阅读(216) 评论(0) 推荐(0) 编辑
numpy和pandas和matplotlib用法
摘要：numpy 首先，前边设置的x、y值其实就代表了不同柱子在图形中的位置（坐标），通过for循环找到每一个x、y值的相应坐标——a、b，再使用plt.text在对应位置添文字说明来生成相应的数字标签，而for循环也保证了每一个柱子都有标签。 其中，a, b+0.05表示在每一柱子对应x值、y值上方0. 阅读全文
posted @ 2018-08-09 17:58 力王7314 阅读(561) 评论(0) 推荐(0) 编辑
scrapy安装
摘要：1. wheel pip install wheel 2. lxml http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 3. PyOpenssl https://pypi.python.org/pypi/pyOpenSSL#downloads 4. Tw 阅读全文
posted @ 2018-08-07 17:48 力王7314 阅读(91) 评论(0) 推荐(0) 编辑
python3使用ip地址代理
摘要：第一种IP地址代理方式from urllib import requestif __name__ == "__main__": # 访问网址 url = 'http://www.ahaoboy.cn:888/' # 这是代理IP proxy = { # 'http': '106.46.136.112 阅读全文
posted @ 2018-08-03 11:25 力王7314 阅读(1752) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示