05 2017 档案
命令行设置代理脚本
摘要:#!/bin/bash # 更新软件源 apt-get update && apt-get upgrade -y # 安装 pip 和 privoxy apt-get install python-pip privoxy -y # 安装 shadowsocks pip install shadowsocks # 相关配置文件 sscfg="/etc/ss.json" privoxyc... 阅读全文
posted @ 2017-05-16 14:35 IT小不点 阅读(529) 评论(0) 推荐(0) 编辑
教程
摘要:http://www.phperz.com/special.html 阅读全文
posted @ 2017-05-12 21:56 IT小不点 阅读(88) 评论(0) 推荐(0) 编辑
docker入门教程
摘要:http://www.runoob.com/docker/ubuntu-docker-install.html 安装方法。 加速器daocloud http://6ef6eb23.m.daocloud.io Ubuntu 16.04和14.04的配置不同,具体见下面 https://blog.lab 阅读全文
posted @ 2017-05-10 21:34 IT小不点 阅读(138) 评论(0) 推荐(0) 编辑
scrapy中Request中常用参数
摘要:url: 就是需要请求,并进行下一步处理的url callback: 指定该请求返回的Response,由那个函数来处理。 method: 一般不需要指定,使用默认GET方法请求即可 headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道 Host: media.readthedocs.org User... 阅读全文
posted @ 2017-05-07 17:28 IT小不点 阅读(1084) 评论(0) 推荐(0) 编辑
Scrapy shell调试返回403错误
摘要:(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0' (2):第二种方法是修改scrapy的user-agent默认值 找到Python的:安装目录下的default_settings.py文件, C:\Program Files (x86)\Anaconda2\e 阅读全文
posted @ 2017-05-07 16:37 IT小不点 阅读(233) 评论(0) 推荐(0) 编辑