05 2018 档案

[scrapy-redis] 将scrapy爬虫改造成分布式爬虫 (2)
摘要：1. 修改redis设置 redis默认处在protection mode, 修改 , , 或者给redis设置密码， 将 这一行用 注释掉 2. 修改爬虫设置 向 加入以下设置 为master的ip加上redis的端口号 3. 修改爬虫代码 使爬虫继承自RedisSpider 增加一个 属性，这个 阅读全文
posted @ 2018-05-31 20:14 arcsinW 阅读(600) 评论(0) 推荐(0) 编辑
[scrapy-redis] install and configure scrapy-redis on CentOS 7 (1)
摘要：0. 安装依赖 1. 安装 python 3.6.4 下载源代码并编译 检查python3.6.4是否安装成功 可以看到python3.6，pip3.6 修改软链接 这是未修改时的/usr/bin 只修改python3，这样就不会影响yum和其他程序的运行 2. install Twisted 3. 阅读全文
posted @ 2018-05-30 15:12 arcsinW 阅读(293) 评论(0) 推荐(0) 编辑
[Machine Learning] Linear regression
摘要：1. Variable definitions : training examples' count $y$ : $X$ : design matrix. each row of $X$ is a training example, each column of $X$ is a feature $ 阅读全文
posted @ 2018-05-29 20:49 arcsinW 阅读(166) 评论(0) 推荐(0) 编辑
[Python] Python 学习记录（2）
摘要：1.range(x,y) [x,y) 2.dics 当key在dics中不存在时返回default的值，返回一个函数也是可以的 判断key在dic中是否存在 两种方法 foreach一个dic 单独循环key或者values 3.读写文件 python中文件被分为两种,text or binary 阅读全文
posted @ 2018-05-23 16:49 arcsinW 阅读(261) 评论(0) 推荐(0) 编辑
[Git] Git 使用记录
摘要：1. 配置git客户端 1.1 安装git bash "https://git scm.com/downloads" 1.2 设置ssh Key 查看是否有ssh key 没有则生成ssh key 将生成的公钥 (.pub为后缀) 上传到git网站上 1.3 设置用户名和邮箱 2. 管理项目 2.1 阅读全文
posted @ 2018-05-21 18:47 arcsinW 阅读(469) 评论(0) 推荐(0) 编辑
[Scrapy] Some things about Scrapy
摘要：1. Pause and resume a crawl Scrapy supports this functionality out of the box by providing the following facilities: a scheduler that persists schedul 阅读全文
posted @ 2018-05-10 11:22 arcsinW 阅读(348) 评论(0) 推荐(0) 编辑
[Note] Windows 10 Python 3.6.4 安装scrapy
摘要：直接使用pip install安装时会在安装Twisted出错，以下主要是解决Twisted的安装问题 1. 安装wheel 2. 安装Twisted 在 "Python Extension Packages for Windows Christoph Gohlke" 中下载Twisted的whl文 阅读全文
posted @ 2018-05-07 16:53 arcsinW 阅读(463) 评论(0) 推荐(0) 编辑