11 2014 档案
摘要:转载:http://blog.chinaunix.net/u/22677/showart_1076318.html1.简介sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。具...
阅读全文
摘要:原文:http://www.yakergong.net/blog/archives/500使用scrapy有大概半年了,算是有些经验吧,在这里跟大家讨论一下使用scrapy作为爬虫进行大规模抓取可能遇到的问题。我们抓取的目标是教育网上的网站(目前主要针对.edu.cn和.ca...
阅读全文
摘要:[10gen]name=10gen Repositorybaseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686gpgcheck=0# CentOS-Base.repo## The mirror syste...
阅读全文
摘要:转载:http://blog.chinaunix.net/u/22677/showart_1076318.html1.简介sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入)...
阅读全文
摘要:一、SQL Relay是什么?SQL Relay是一个开源的数据库池连接代理服务器二、SQL Relay支持哪些数据库?* Oracle* MySQL* mSQL* PostgreSQL* Sybase* MS SQL Server* IBM DB2* Interbase* ...
阅读全文
摘要:最近有幸,在学校的图书馆借到了子柳先生的《淘宝技术这十年》,拜读一番,感慨万分。一、淘宝的核心技术(国内乃至国际的Top,这还是2011年的数据)拥有全国最大的分布式Hadoop集群(云梯,2000左右节点,24000核CPU,48000GB内存,40PB存储容量)全国分布8...
阅读全文
摘要:英文原文:Build a Website Crawler based upon Scrapy标签:ScrapyPython209人收藏此文章,我要收藏renwofei423推荐于 11个月前 (共 9 段, 翻译完成于 12-30) (14评)参与翻译(3人):LeoXu,B...
阅读全文
摘要:分类:python学习笔记2012-07-07 17:5928433人阅读评论(4)收藏举报python语言原文地址:http://hi.baidu.com/delinx/item/1789d38eafd358d05e0ec1df Python语言是一款对缩进非常敏感的语言,...
阅读全文
摘要:分类:Crawler.NetPython2014-05-15 13:36127人阅读评论(0)收藏举报PYTHON SCRAPY1、安装PYTHON2.7.6,下载地址:https://www.python.org/downloads/安装成功显示:2、先安装pywin32,...
阅读全文
摘要:关键字:scrapy入门教程爬虫Spider作者:http://www.cnblogs.com/txw1958/出处:http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html在这篇入门教程中,...
阅读全文
摘要:0. python -V (此时显示为2.6.6)1. yum -y update2. yum groupinstall -y development3. yum install -y zlib-dev openssl-devel sqlite-devel bz...
阅读全文