随笔分类 -  Python

Python
摘要:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-develxz-devel gcc 阅读全文
posted @ 2020-12-13 12:24 风与叶子 阅读(839) 评论(0) 推荐(0) 编辑
摘要:http://codingnow.cn/language/159.html 阅读全文
posted @ 2016-04-30 16:19 风与叶子 阅读(180) 评论(0) 推荐(0) 编辑
摘要:特别注意[坑]: python版本一定大于 2.7.5,scrapy python 必须2.7以上centos 6.X系列 系统默认安装的python是2.6.6 ,本人折腾了很久2.7.3 在这里升级http://blog.csdn.net/highball/article/details/101 阅读全文
posted @ 2016-04-30 11:09 风与叶子 阅读(1677) 评论(0) 推荐(0) 编辑
摘要:http://blog.csdn.net/jcjc918/article/details/11022345 一开始有这个需求,是因为用 YaH3C 替代 iNode 进行校园网认证时,一直编译错误,提示找不到 Python 的某个模块,百度了一下,此模块是在 Python2.7 以上才有的,但是系统 阅读全文
posted @ 2016-04-28 22:21 风与叶子 阅读(176) 评论(0) 推荐(0) 编辑
摘要:先说第一种方法,通过rpmbuild编译XXX.src.rpm包([1]、[2]):安装依赖:sudo yum install -y make autoconf bzip2-devel db4-devel expat-devel gcc-c++ gdbm-devel glibc-devel gmp-... 阅读全文
posted @ 2015-10-06 18:45 风与叶子 阅读(1969) 评论(0) 推荐(0) 编辑
摘要:目标是爬取网站http://www.muyingzhijia.com/上全部的商品数据信息,包括商品的一级类别,二级类别,商品title,品牌,价格。搜索了一下,python的scrapy是一个不错的爬虫框架,于是基于scrapy写了一个简易的爬虫。先分析商品页面,在http://www.muyin... 阅读全文
posted @ 2014-09-14 17:09 风与叶子 阅读(1213) 评论(0) 推荐(0) 编辑
摘要:Scrapy是一个开源的机遇twisted框架的python的单机爬虫,该爬虫实际上包含大多数网页抓取的工具包,用于爬虫下载端以及抽取端。安装环境:centos5.4python2.7.3安装步骤:1.下载python2.7http://www.python.org/ftp/python/2.7.3... 阅读全文
posted @ 2014-09-07 17:54 风与叶子 阅读(666) 评论(0) 推荐(0) 编辑
摘要:Python操作MySQL需要安装Python-MySQL可以从网上搜索一下,和一般的Python包一样安装安装好之后,模块名字叫做MySQLdb ,在Window和Linux环境下都可以使用,试验了一下挺好用,不过又发现了烦人的乱麻问题,最后用了几个办法,解决了!我用了下面几个措施,保证MySQL... 阅读全文
posted @ 2014-09-07 17:48 风与叶子 阅读(586) 评论(0) 推荐(0) 编辑
摘要:关键字:scrapy入门教程爬虫Spider作者:http://www.cnblogs.com/txw1958/出处:http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html在这篇入门教程中,我们假定你已经安装了Sc... 阅读全文
posted @ 2014-09-01 16:03 风与叶子 阅读(315) 评论(0) 推荐(0) 编辑
摘要:一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages... 阅读全文
posted @ 2014-09-01 15:36 风与叶子 阅读(232) 评论(0) 推荐(0) 编辑
摘要:对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具。今天安装之后觉得Scrapy的安装确实不易啊。所以在此博文一篇,往后来着少走弯路。 废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述。 ... 阅读全文
posted @ 2014-09-01 14:31 风与叶子 阅读(1202) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示