爬虫试玩

Demo链接:https://github.com/superbobogithub/scrapy

PC下载链接: https://www.jetbrains.com/pycharm/download/ 

参考地址:

scrapy安装与真的快速上手——爬取豆瓣9分榜单
http://www.jianshu.com/p/fa614bea98eb

scrapy爬虫与Ajax动态页面——爬取拉勾网职位信息(1)
http://www.jianshu.com/p/f030cba076a2

Mac安装步骤:

1、解决EI Capitan安装爬虫Scrapy问题

1
2
3
4
重启 Mac,按住 Command+R 键直到 Apple logo 出现,进入 Recovery Mode
顶部导航栏,点击 Utilities > Terminal
Terminal 中输入 csrutil disable,之后回车
重启 Mac

 2、安装

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

 

这两步是关键,其他参考链接!

 

posted @   索马里猫  阅读(181)  评论(0编辑  收藏  举报
编辑推荐:
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
阅读排行:
· 用 DeepSeek 给对象做个网站,她一定感动坏了
· DeepSeek+PageAssist实现本地大模型联网
· 手把手教你更优雅的享受 DeepSeek
· 腾讯元宝接入 DeepSeek R1 模型,支持深度思考 + 联网搜索,好用不卡机!
· 从 14 秒到 1 秒:MySQL DDL 性能优化实战
点击右上角即可分享
微信分享提示