爬虫试玩

Demo链接：https://github.com/superbobogithub/scrapy

PC下载链接： https://www.jetbrains.com/pycharm/download/ 

参考地址：

scrapy安装与真的快速上手——爬取豆瓣9分榜单
http://www.jianshu.com/p/fa614bea98eb

scrapy爬虫与Ajax动态页面——爬取拉勾网职位信息（1）
http://www.jianshu.com/p/f030cba076a2

Mac安装步骤：

1、解决EI Capitan安装爬虫Scrapy问题

        重启 Mac，按住 Command+R 键直到 Apple logo 出现，进入 Recovery Mode
        顶部导航栏，点击 Utilities > Terminal
        在 Terminal 中输入 csrutil disable，之后回车
        重启 Mac

 2、安装

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

 

这两步是关键，其他参考链接！