摘要: 爬取http://bj.58.com/pbdn/0/pn2/中除转转、推广商品以外的产品信息,因为转转和推广的详情信息不规范,需要另外写一个方法存放,后期补上,详情页如下 这周学习了爬虫,但是遇到一些js,requests方法无法渲染,比如浏览量,所以结合selenium+phantomjs渲染网页,获取信息 阅读全文
posted @ 2016-04-16 22:02 huangweiping 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: 学习python+selenium总是遇到各种问题 代码如下: File "C:\Users\video\AppData\Roaming\Python\Python34\site-packages\selenium\webdriver\common\service.py", line 151, in 阅读全文
posted @ 2016-04-16 16:03 huangweiping 阅读(18183) 评论(0) 推荐(1) 编辑
摘要: 1、什么是firefoxprofile 简单的来说就是个人定制,比如你设置自己访问主页,禁用加载图片这些个性化的设置,都可以保存到一个文件夹下,就是firefoxprofile,下次使用时候,加载该firefoxprofile,就可以让自己火狐浏览器设置跟之前配置一样 2、为什么selenium要用 阅读全文
posted @ 2016-04-16 16:02 huangweiping 阅读(8624) 评论(0) 推荐(0) 编辑