python 登陆开心网图片批量下载-selenium实现
from selenium import webdriver import time import re import random browser=webdriver.Firefox() browser.get("http://3g.kaixin001.com/") browser.find_element_by_id("username").send_keys("登陆账号") browser.find_element_by_id("password").send_keys("密码") browser.find_element_by_name("login").click()#输入账号密码,点击登录按钮登录 browser.find_element_by_class_name("name").click() time.sleep(random.randint(2,8)) browser.find_element_by_link_text("我的照片(37)").click() #照片相册名字 time.sleep(random.randint(2,8)) browser.find_element_by_class_name("pic_container").click()#默认使用class name定位仅可以定位带第一个照片专辑,使用xpath或link txt定位可定位其他照片专辑 time.sleep(random.randint(2,8)) browser.find_element_by_xpath("/html/body/div[7]/a[1]").click() html=browser.page_source yeshu=browser.find_element_by_class_name("c9").text#确定当前专辑有几张照片,为下面的循环做准备 yeshu2=int(yeshu[3:5]) f=open("123.txt","a+") if yeshu2>0: for i in range(0,yeshu2):#确定照片张数之后循环指定次数,获取图片地址,依次下一张 i-=1 html1=browser.page_source htmlimg=re.findall("下载中(.*)下载原图",html1,re.S) strli="".join(htmlimg) #列表转换为字符串 print(strli) f.write(strli) time.sleep(random.randint(2,8)) browser.find_element_by_link_text("下一张").click() f.close()
python调用selenium实现登陆开心网,下载指定专辑内的照片。整个过程调用火狐浏览器实现,可看到每一步的操作步骤。过程中遇到一些问题总结如下:
1.selenium定位元素时有时使用常规的id,name,class name,等方式都无法定位时,可以考虑使用xpath实现定位。比如某些元素属性都一致的时候。或者使用link txt定位
2.random模块可以实现随机数功能,简单好用,很强大。
3.strli="".join(htmlimg) 列表转换为字符串,列表之间的内容用“”之间的内容进行连接。对应的是aplit,用法如下
split(…)
S.split([sep [,maxsplit]]) -> 由字符串分割成的列表
返回一组使用分隔符(sep)分割字符串形成的列表。如果指定最大分割数,则在最大分割时结束。如果分隔符未指定或者为none,则分隔符默认为空格。
posted on 2016-04-06 14:55 python学习笔记 阅读(898) 评论(0) 编辑 收藏 举报