随笔分类 -  Python

摘要:目标网站:https://unsplash.com/ 目的:爬取一些图片作为Java小程序的背景图 代码如下: 爬取结果如下: 程序中预计爬取40张,但17张够用了,所以停止了爬取,但是存在一个问题,就是爬取的速度很慢,还没有想好怎么解决这个问题。。。。。 阅读全文
posted @ 2018-02-10 15:48 西*风 阅读(364) 评论(0) 推荐(0) 编辑
摘要:目标网站:http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html 目的:爬取目标网站上中国大学的排名 代码如下: 结果如下: 第一次写的爬虫,留作纪念 阅读全文
posted @ 2018-02-10 15:19 西*风 阅读(259) 评论(0) 推荐(0) 编辑
摘要:针对w10系统 selenium安装 pip install selenium 默认安装的是3.x版本,但是3.x版本不支持PhantomJS,所以要安装2.x版本 pip install selenium==2.48.0 phantomjs安装 下载链接:http://phantomjs.org/ 阅读全文
posted @ 2018-02-06 10:32 西*风 阅读(166) 评论(0) 推荐(0) 编辑
摘要:以笔趣阁网站为例,爬取一念永恒这本小说 链接如下:http://www.biqukan.com/1_1094 具体代码如下: 总结:一定要对将要爬取的网页的代码进行彻底的分析,不然可能得不到想要的效果 若有不足错误的地方,欢迎兄弟们拍砖指正,大家一起学习,一起进步!!!! 阅读全文
posted @ 2018-01-06 20:48 西*风 阅读(1206) 评论(0) 推荐(0) 编辑
摘要:链接:http://www.heibanke.com/lesson/crawler_ex02 阅读全文
posted @ 2018-01-01 14:11 西*风 阅读(215) 评论(0) 推荐(1) 编辑
摘要:关卡二地址:http://www.heibanke.com/lesson/crawler_ex01/ 阅读全文
posted @ 2017-12-29 21:42 西*风 阅读(169) 评论(0) 推荐(0) 编辑
摘要:黑板客爬虫闯关之关卡一 分析:从起始界面获得下一个界面的地址信息然后开始跳转,然后又在另外界面获得下一个界面的地址信息,直到通关 闯关地址:http://www.heibanke.com/lesson/crawler_ex00/ 注意二者的区别 阅读全文
posted @ 2017-12-29 17:26 西*风 阅读(233) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示