随笔分类 -  Python

[scrapy-redis] 将scrapy爬虫改造成分布式爬虫 (2)
摘要：1. 修改redis设置 redis默认处在protection mode, 修改 , , 或者给redis设置密码， 将 这一行用 注释掉 2. 修改爬虫设置 向 加入以下设置 为master的ip加上redis的端口号 3. 修改爬虫代码 使爬虫继承自RedisSpider 增加一个 属性，这个 阅读全文
posted @ 2018-05-31 20:14 arcsinW 阅读(600) 评论(0) 推荐(0) 编辑
[scrapy-redis] install and configure scrapy-redis on CentOS 7 (1)
摘要：0. 安装依赖 1. 安装 python 3.6.4 下载源代码并编译 检查python3.6.4是否安装成功 可以看到python3.6，pip3.6 修改软链接 这是未修改时的/usr/bin 只修改python3，这样就不会影响yum和其他程序的运行 2. install Twisted 3. 阅读全文
posted @ 2018-05-30 15:12 arcsinW 阅读(293) 评论(0) 推荐(0) 编辑
[Python] Python 学习记录（2）
摘要：1.range(x,y) [x,y) 2.dics 当key在dics中不存在时返回default的值，返回一个函数也是可以的 判断key在dic中是否存在 两种方法 foreach一个dic 单独循环key或者values 3.读写文件 python中文件被分为两种,text or binary 阅读全文
posted @ 2018-05-23 16:49 arcsinW 阅读(261) 评论(0) 推荐(0) 编辑
[Scrapy] Some things about Scrapy
摘要：1. Pause and resume a crawl Scrapy supports this functionality out of the box by providing the following facilities: a scheduler that persists schedul 阅读全文
posted @ 2018-05-10 11:22 arcsinW 阅读(348) 评论(0) 推荐(0) 编辑
[Python] Python 学习记录（1）
摘要：1.概论 弱类型 一个变量能被赋值时能与原类型不同 x = 1 x = "1" #不加分号，给x赋值为int后再次赋值为string是可行的 与或非 and or not / #除法的结果是浮点数， 9 / 3 = 3.0 // #结果是整数 10 // 3 = 3 空值为None（相当于null） 阅读全文
posted @ 2018-04-01 17:31 arcsinW 阅读(280) 评论(0) 推荐(0) 编辑
[Python] 豆瓣电影top250爬虫
摘要：1.分析 <li><div class="item">电影信息</div></li> 每个电影信息都是同样的格式，毕竟在服务器端是用循环生成的html，这样解析出电影的信息就很简单了 豆瓣电影top250的翻页也很简单，直接就在url上修改一个start就行了，start代表这一页从start+1开 阅读全文
posted @ 2018-03-22 16:33 arcsinW 阅读(3346) 评论(0) 推荐(0) 编辑