kavo

随笔分类 -  爬虫

Python scrapy 爬虫框架学习笔记
摘要:早在去年,根据搜索的相关资料,已经写出了一部分针对某些网站的爬虫,但是学习的不系统,全部是根据自己搜索由来而做的,对很多较深的原理并不是太懂,这两天找了一套视频,在深入的学习一下。 官网:https://scrapy.org/ 安装就不说了,参考官网,我自己是 Windows7 环境,安装的是 py 阅读全文

posted @ 2020-02-07 17:33 下雨天唱情歌 阅读(9) 评论(0) 推荐(0) 编辑

Linux 下 Selenium Python Chrome 环境搭建
摘要:一直在window下进行爬虫抓取数据,但是因为国内网络的环境独特性,今天就考虑放到海外服务器上进行抓取 PS:因为之前用的Centos X86 32位的,一路没少踩坑,所以各种限制,各种坑,刚刚重装了服务器系统 PS:python2 版本也是可以的,安装scrapy也容易,关键就在于selenium 阅读全文

posted @ 2019-05-07 20:49 下雨天唱情歌 阅读(34) 评论(0) 推荐(0) 编辑

< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示