摘要：python3编写发送http请求的脚本 使用requests包： http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 使用urllib包： https://www.jianshu.com/p/9e50c58dabdd 阅读全文
python引入同一目录下的py文件
2018-04-08 23:34 by ZealouSnesS, 55754 阅读, 1 推荐, 收藏, 编辑
摘要：python引入同一目录下的py文件 注意：python2和python3的包内import语法有区别，下面介绍一下python3的包内import语法 例如在admin.py文件中要引入dealcode.py文件： 1、在目录下有__init__.py文件 2、在admin.py文件中加一行：fr 阅读全文
python2 一些错误处理
2018-04-08 23:25 by ZealouSnesS, 687 阅读, 0 推荐, 收藏, 编辑
摘要：python2各种问题 pip安装django出错：python2 -m pip install django 编码问题：Unicode Decode Error ascii codec can't decode byte... 原因：windows系统默认编码是gbk，而pip默认编码是utf8， 阅读全文
scrapy 原理，结构，基本命令，item，spider，selector简述
2018-04-08 23:20 by ZealouSnesS, 641 阅读, 0 推荐, 收藏, 编辑
摘要：原理，结构，基本命令，item，spider，selector简述 原理 （1）结构 （2）运行流程 实操 （1） scrapy命令： 注意先把python安装目录的scripts文件夹添加到环境变量 查看帮助 scrapy scrapy <command> -h 创建项目 scrapy start 阅读全文
python可变参数*args, **kwargs
2018-04-08 23:18 by ZealouSnesS, 175 阅读, 0 推荐, 收藏, 编辑
摘要：python可变参数*args, **kwargs def foo(* args, ** kwargs): print ' args = ', args print ' kwargs = ', kwargs print ' ' if __name__ == '__main__': foo(1,2,3 阅读全文
scrapy spider
2018-04-08 23:15 by ZealouSnesS, 230 阅读, 0 推荐, 收藏, 编辑
摘要：spider 定义：在spiders文件夹中由用户自定义，继承scrapy.Spider类或其子类 Spider并没有提供什么特殊的功能。 其仅仅请求给定的 start_urls/start_requests ，并根据返回的结果(resulting responses)调用spider的 parse 阅读全文
pycharm调试scrapy
2018-04-08 23:14 by ZealouSnesS, 271 阅读, 0 推荐, 收藏, 编辑
摘要：pycharm调试scrapy 创建一个run.py文件作为调试入口 run.py中，name是要调试的爬虫的名字（注意，是爬虫类中的name，而不是爬虫类所在文件的名字） 拼接爬虫运行的命令，然后用cmdline.execute()执行拼接成的命令 注意，.split()必须加，不然会报错（spl 阅读全文
scrapy item
2018-04-08 23:11 by ZealouSnesS, 248 阅读, 0 推荐, 收藏, 编辑
摘要：item item定义了爬取的数据的model item的使用类似于dict 定义 在items.py中，继承scrapy.Item类，字段类型scrapy.Field() 实例化：（假设定义了一个名为Product的item类） Product(key1=value1, key2=value2) 阅读全文
ubuntu14 编译安装（升级）g++
2018-04-08 23:09 by ZealouSnesS, 1391 阅读, 0 推荐, 收藏, 编辑
摘要：编译安装（升级）g++ ubuntu14自带的g++为4.8.4，不支持c++11。现要将g++升至5.2.0 1、下载安装： 参考https://www.cppfans.org/1719.html 当然，编译安装过程中，还遇到了一个错误，错误提示及解决方案参看下面这张图加这篇文章：http://b 阅读全文
编译安装cmake3
2018-04-08 23:07 by ZealouSnesS, 4419 阅读, 0 推荐, 收藏, 编辑
摘要：编译安装cmake3 ubuntu 14 的系统默认安装的是cmake2.7，apt-get upgrade之后也还是cmake2.7，而很多软件如今需要3及以上的版本来进行cmake编译（如caffe2）。下面我们来看看在ubuntu上安装cmake3.6.3的过程 参考：https://www. 阅读全文