Python3 PySpider爬虫框架-命令行

• pyspider命令行

pyspider all # 启动pyspider
# pyspider [OPTIONS] COMMAND [ARGS] 
# 可以查看https://www.cntofu.com/book/156/command.md
"""
TEXT是需要指定的文本字符串，FILENAME文件名，INTEGER数字
Options:
  -c, --config FILENAME    指定配置文件名称
  --logging-config TEXT    日志配置文件名称，默认: pyspider/pyspider/logging.conf
  --debug                  开启调试模式
  --queue-maxsize INTEGER  队列的最大长度
  --taskdb TEXT            taskdb的数据库连接字符串, default: sqlite
  --projectdb TEXT         projectdb的数据库连接字符串, default: sqlite
  --resultdb TEXT          resultdb的数据库连接字符串, default: sqlite
  --message-queue TEXT     消息队列连接炙甘草default: multiprocessing.Queue
  --amqp-url TEXT          [deprecated] amqp url for rabbitmq. please use --message-queue instead.
  --beanstalk TEXT         [deprecated] beanstalk config for beanstalk queue. please use --message-queue instead.
  --phantomjs-proxy TEXT   phantomjs使用的代理，ip:port的兴衰
  --data-path TEXT         数据库存放的路径
  --version                pyspider的版本
  --help                   显示帮助信息
"""
# 配置文件模板 pyspider.json
pyspider -c pyspider.json all
{
    "taskdb": "mysql+taskdb://username:password@host:port/taskdb",
    "projectdb": "mysql+projectdb://username:password@host:port/projectdb",
    "resultdb": "mysql+resultdb://username:password@host:port/resultdb",
    "message_queue": "amqp://username:password@host:port/%2F",
    "webui": {
        "username": "some_name",
        "password": "some_passwd",
        "need-auth": true
        }
}

• pyspider运行processor命令

pyspider processor [OPTIONS]
"""
 Options:
   --processor-cls TEXT  Processor使用的类
   --help                显示帮助信息
"""

• pyspider运行webui命令
  

pyspider webui [OPTIONS]
"""
Options:
  --host TEXT            运行地址
  --port INTEGER         运行端口
  --cdn TEXT             js/css的cdn服务器
  --scheduler-rpc TEXT   scheduler的xmlrpc路径
  --fetcher-rpc TEXT     fetcher的xmlrpc路径
  --max-rate FLOAT       每个项目最大的rate值
  --max-burst FLOAT      每个项目最大的burst值
  --username TEXT        Auth验证的用户名
  --password TEXT        Auth验证的密码
  --need-auth            是否需要验证
  --webui-instance TEXT  运行时使用的Flash应用
  --help                 显示帮助信息
"""

• pyspider运行scheduler命令
  

pyspider scheduler [OPTIONS]
"""
Options:
  --xmlrpc / --no-xmlrpc
  --xmlrpc-host TEXT
  --xmlrpc-port INTEGER
  --inqueue-limit INTEGER  任务队列的最大程度，如果满了则新的任务会被忽略
  --delete-time INTEGER    设置为delete标记之前的删除时间
  --active-tasks INTEGER   当前活跃的任务数量配置
  --loop-limit INTEGER     单轮最多调度的任务数量
  --scheduler-cls TEXT     scheduler使用的类
  --help                   显示帮助信息
"""

• pyspider运行fetcher命令
  

pyspider fetcher [OPTIONS]
"""
Options:
  --xmlrpc / --no-xmlrpc
  --xmlrpc-host TEXT
  --xmlrpc-port INTEGER
  --poolsize INTEGER      同时请求的个数
  --proxy TEXT            使用的代理
  --user-agent TEXT       使用的User-Agent
  --timeout TEXT          超时时间
  --fetcher-cls TEXT      Fetcher使用的类
  --help                  显示帮助信息
"""