上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 29 下一页
摘要: 说明 : 本文参照了官网文档,以及stackoverflow的几个问题 概要 : 在scrapy中使用代理,有两种使用方式 1. 使用中间件 2. 直接设置Request类的meta参数 方式一:使用中间件 要进行下面两步操作 1. 在文件 settings.py 中激活代理中间件 2. 在文件 m 阅读全文
posted @ 2016-08-31 10:05 罗兵 阅读(2368) 评论(0) 推荐(1) 编辑
摘要: 说明 : 本文参照了 "官网" 的 dmoz 爬虫例子。 不过这个例子有些年头了,而 dmoz.org 的网页结构已经不同以前。 所以我对 也相应地进行了修改 。 概要 : 本文提出了scrapy 的三个入门应用场景 1. 爬取单页 2. 根据目录页面,爬取所有指向的页面 3. 爬取第一页,然后根据 阅读全文
posted @ 2016-08-30 12:13 罗兵 阅读(3081) 评论(0) 推荐(1) 编辑
摘要: 网页结构 : 连接 : Play : 注意 与`css`两种方式的区别与联系 阅读全文
posted @ 2016-08-29 12:28 罗兵 阅读(852) 评论(0) 推荐(0) 编辑
摘要: ```python import numpy as np import pandas as pd df = pd.DataFrame(np.random.randint(0,100,100), columns=['score']) # 以所在区间作为标签。如 x=5,返回:'[0-10]' def make_label(x, step=10): m = x // step re... 阅读全文
posted @ 2016-08-29 11:49 罗兵 阅读(6349) 评论(0) 推荐(0) 编辑
摘要: 问题 : 有一个DataFrame,列名为: 现需要改为: 有何办法? 解决 : 方式一:columns属性 方式二:rename方法、columns参数 阅读全文
posted @ 2016-08-29 09:42 罗兵 阅读(202301) 评论(4) 推荐(11) 编辑
摘要: 说明 之前在 window 10 (64) + python 3.5 (64) 环境下就已经成功安装了 scrapy ,当然也费了不少周折。 由于近日将系统换回 windows 7 (64),再安装 scrapy 时又遇到了一些问题,不过折腾了十来分钟后,还是成功了。 为了方便后来的朋友,特将 py 阅读全文
posted @ 2016-08-28 04:23 罗兵 阅读(6129) 评论(7) 推荐(4) 编辑
摘要: 说明:此文的第一部分参考了 "这里" 用python进行线性回归分析非常方便,有现成的库可以使用比如: "例子" 、 "例子" 、 "例子" 等。 不过本文使用 库的 , 支持任意维度 ,非常好用。 一、二维直线的例子 预备知识 :线性方程$y = a x + b$ 表示平面一直线 下面的例子中,我 阅读全文
posted @ 2016-08-19 03:12 罗兵 阅读(71129) 评论(3) 推荐(3) 编辑
摘要: 找到一个递归神经网络的例子,没看懂。 先保存,慢慢看。 "原文" 阅读全文
posted @ 2016-08-18 05:01 罗兵 阅读(1180) 评论(0) 推荐(0) 编辑
摘要: 问题描述 用python写爬虫,很多时候我们会先在cmd下先进行尝试。 运行爬虫之后,肯定的,我们想看看爬取的结果。 于是,我们print... 运气好的话,一切顺利。但这样的次数不多,更多地,我们会遇到这样的错误: UnicodeEncodeError: 'gbk' codec can't enc 阅读全文
posted @ 2016-08-17 19:05 罗兵 阅读(1276) 评论(0) 推荐(0) 编辑
摘要: Mini project description Rock paper scissors lizard Spock Rock paper scissors is a hand game that is played by two people. The players count to three 阅读全文
posted @ 2016-08-16 14:18 罗兵 阅读(608) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 29 下一页