摘要: socket套接字:为了使2个不同应用程序进行通信。 两种套接字类型:基于文件的和基于网络的 1.基于文件(AF_LOCAL或AF_UNIX):代表Unix 2.面向网络(AF_INET):代表因特网 面向连接的套接字(SOCK_STREAM):TCP 面向无连接的套接字(SOCK_DGRAM):U 阅读全文
posted @ 2017-06-17 22:05 sea101 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 我的版本是14.04 1.更新系统 ##如果系统没有换国内下载路径需要换下系统的更新下载路径 http://www.cnblogs.com/seablog/p/7043798.html sudo apt-get update 更新系统 sudo apt-get upgrade 2.安装pip scr 阅读全文
posted @ 2017-06-12 17:17 sea101 阅读(321) 评论(0) 推荐(0) 编辑
摘要: 在spider中最后一个函数返回item时会scrapy会调用pipeline里面的 阅读全文
posted @ 2017-06-12 17:15 sea101 阅读(476) 评论(0) 推荐(1) 编辑
摘要: scrapy stratproject projectname ##创建一个项目 scrapy genspider myspidername fider ##创建一个spider文件 scrapy crawl spidername ## 执行一个spider程序 scrapy shell url # 阅读全文
posted @ 2017-06-12 16:50 sea101 阅读(279) 评论(0) 推荐(1) 编辑
摘要: python的正则是通过re模块的支持 匹配的3个函数 match :只从字符串的开始与正则表达式匹配,匹配成功返回matchobject,否则返回none; re.match(pattern, string, flags=0) ##flags标志位,用于控制正则表达式的匹配方式,如:是否区分大小写 阅读全文
posted @ 2017-06-12 16:10 sea101 阅读(233) 评论(0) 推荐(1) 编辑
摘要: python中函数参数有:默认参数、关键字参数、非关键字可变长参数(元组)、关键字可变长参数(字典) 阅读全文
posted @ 2017-06-11 16:00 sea101 阅读(340) 评论(0) 推荐(0) 编辑
摘要: 在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为 阅读全文
posted @ 2017-06-10 17:35 sea101 阅读(2669) 评论(0) 推荐(0) 编辑
摘要: 链接:http://www.zhihu.com/question/19801131/answer/27459821来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 编程分为两类:系统编程(system programming)和应用编程(application prog 阅读全文
posted @ 2017-06-10 16:08 sea101 阅读(333) 评论(0) 推荐(0) 编辑