2016年7月22日

摘要: 自学python爬虫也快半年了,在目前看来,我面临着三个待解决的爬虫技术方面的问题:动态加载,多线程并发抓取,模拟登陆。目前正在不断学习相关知识。下面简单写一下用selenium处理动态加载页面相关的知识。目标——抓取页面所有的高考录取分数信息。 对于动态加载,开始的时候是看到Selenium+Ph 阅读全文

posted @ 2016-07-22 23:01 不秩稚童 阅读(22459) 评论(6) 推荐(0) 编辑

摘要: 记得初学python时就学的爬虫,经常遇到编码问题(其实在python3里面编码问题已经很少了。。。),用requests库就挺方便解决这些问题的。近来有共同学习python的程序员写了个电子书网站,想要相关的爬虫,于是,我去试了试。。。当然,第一步就遇到“编码问题”,这次requests就用不上啦 阅读全文

posted @ 2016-07-22 22:21 不秩稚童 阅读(1133) 评论(0) 推荐(0) 编辑