摘要: 注意,虽然在本文中会涉及调度策略等内容,但实际执行效果取决于具体策略实现。 project 脚本分为不同的 project,不同的 project 之间的任务互相独立,建议为不同的站点建立不同的 project project 属性 group – 分组标识,暂时仅用于区分 name – 脚本的名字,只允许 a-zA-Z0-9_ status – 任务状态,只有处于 DEBUG 和 RUN... 阅读全文
posted @ 2015-05-23 16:55 silianpan 阅读(1865) 评论(0) 推荐(0) 编辑
摘要: Pyspider爬虫教程 一、安装 1、 安装pip (1)准备工作 yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel (2)安装setuptools https://pypi.python.org/pypi/setuptools/ python setup.py install (3)安装pip https:... 阅读全文
posted @ 2015-05-23 15:05 silianpan 阅读(12622) 评论(0) 推荐(3) 编辑