摘要:
创建和删除分支: 在本地新建一个分支: git branch newBranch 切换到你的新分支: git checkout newBranch 将新分支发布在github上: git push origin newBranch 在本地删除一个分支: git branch -d newBranch 阅读全文
摘要:
注册账号 创建人生的第一个Github仓库 给他起个名字吧 OK!!!!!!!!! 此时你会看到 好的,接下来进入重要环节 前提是你安装了 打开 Git Bash 切换磁盘 我的个人习惯,切换到 E 盘 ,注意大写的E 首先在本地创建ssh key; 为了验证是否成功,在git bash下输入: 如 阅读全文
摘要:
scrapy : 一个框架,不能实现分布式爬取 scrapy-redis : 基于这个框架开发的一套组件,可以让scrapy实现分布式的爬取 所以需要安装扩展库 : pip install scrapy-redis 首先进入这个网站获取分布式爬虫样本 : https://github.com/rma 阅读全文
摘要:
windows redis 启动 redis-server.exe redis.windows.conf 注意:可能会启动不成功 第一步,安装目录下 shift + 鼠标右键 进入终端, 第二步,输入 redis-cli.exe 第三步, 输入shutdown 第四步,exit 第五步,重新启动 r 阅读全文
摘要:
启动出问题相关配置请参见:https://blog.csdn.net/jungle_hello/article/details/73889320 阅读全文
摘要:
激活使用 也可以在爬虫文件中自定义 阅读全文
摘要:
# -*- coding: utf-8 -*-import scrapyimport urllib.request # https://accounts.douban.com/login class DoubanSpider(scrapy.Spider): name = 'douban' allow 阅读全文
摘要:
修改代理,需要进入下图文件中 打开,自定义代理类 打开settings.py文件 激活代理中间件 阅读全文