DAY-02

爬取豆瓣网站电影top250

"""
请求头：
    User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36

cookie:
　　　　bid=EU-warEMqbg; douban-fav-remind=1; ap_v=0,6.0; _pk_id.100001.4cf6=1a1adee44f5ddbaf.1562026761.1.1562026761.1562026761.; _pk_ses.100001.4cf6=*; __utma=30149280.803503068.1543901733.1543901733.1562026761.2; __utmb=30149280.0.10.1562026761; __utmc=30149280; __utmz=30149280.1562026761.2.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.1484969385.1562026761.1562026761.1562026761.1; __utmb=223695111.0.10.1562026761; __utmc=223695111; __utmz=223695111.1562026761.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
"""

"""
电影名称/导演/主演/年份/类型/评分/评论/简介
电影url
1.分析所有主页的url
第一页：https://movie.douban.com/top250?start=0&filter=
第二页：https://movie.douban.com/top250?start=25&filter=
"""
import requests
import re
# 1.发送请求
def get_page(url):
    response = requests.get(url)
    return response
# 2.解析数据
def parse_index(html):
    movie_list = re.findall('<div class="item">.*?<em class="">(.*?)</em>.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?导演:(.*?)主演:(.*?)<br>(.*?)</p>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价</span>.*?<span class="inq">(.*?)</span>',html,re.S)
    return movie_list

# 3.保存数据
def save_data(movie):
    top, m_url, name, deractor, actor, year_type, point, commit, desc = movie
    year_type = year_type.replace('\n','').replace('&nbsp;','').replace('/','').strip(' ')
    deractor = deractor.replace('&nbsp;','')
    data= f"""
             =======================
                电影排名：{top}
                电影url：{m_url}
                电影名称：{name}
                电影导演：{deractor}
                电影主演：{actor}
                年份类型：{year_type}
                电影评分：{point}
                电影评论：{commit}
                电影简介：{desc}
             ========================
             \n
           """
    print(data)
    with open('douban_top250.txt','a',encoding='utf-8') as f:
        f.write(data)
    print(f'电影：{name}写入成功...')


if __name__ == '__main__':
    num = 0
    for line in range(10):
        url = f'https://movie.douban.com/top250?start={num}&filter='
        num+=25
        print(url)

        #往每个主页发送请求
        index_respoonse = get_page(url)

        #解析电影详情页获取电影信息
        movie_list = parse_index(index_respoonse.text)
        for movie in movie_list:
            save_data(movie)

Selenium请求库

1.什么是Selenium

　　起初是一个自动化测试工具，原理是驱动浏览器执行一些已定好的操作。

　　爬虫本质上就是模拟浏览器，所以可以使用它来做爬虫

2.为什么要使用Selenium

　　优点：

　　　　——执行js代码

　　　　——不需要分析复杂的通信流程

　　　　——对浏览器做弹窗、下拉等操作

　　　　——获取动态数据

　　　　——破解登入验证

　　缺点：

　　　　——执行效率低

3.安装与使用

  1.pip install selenium

　　2.必须安装浏览器

　　3.安装浏览器驱动

课堂实例：

selenium的基本使用

from selenium import webdriver
from selenium.webdriver import ActionChains  # 破解滑动验证码的时候用的 可以拖动图片
from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
from selenium.webdriver.support import expected_conditions as EC  # 和下面WebDriverWait一起用的
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import time

# 方式一：通过驱动打开浏览器
# driver = webdriver.Chrome(r'D:\chromedriver.exe')
# 方式二：把webdriver.exe驱动放到python解释器安装目录/scripts
driver = webdriver.Chrome()
try:
    driver.get('https://www.jd.com/')
    #获取显式等待对象10s
    wait = WebDriverWait(driver,10)

    #查找元素
    input_tag = wait.until(EC.presence_of_element_located((By.ID,'key')))

    # 在输入框内输入公仔
    input_tag.send_keys('公仔')

    #按下回车搜索
    input_tag.send_keys(Keys.ENTER)

    time.sleep(10)
finally:
    #关闭浏览器释放操作系统资源
    driver.close()

selenium选择器

from selenium import webdriver
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
import time
driver = webdriver.Chrome()
try:
    #隐式等待
    driver.implicitly_wait(10)

    driver.get('https://www.jd.com/')

    '''
    ===============所有方法===================
        element是查找一个标签
        elements是查找所有标签
    '''
    # 1、find_element_by_link_text
    login_button = driver.find_element_by_link_text('登录')
    login_button.click() #点击登陆按钮
    # 通过链接文本

    # 2、find_element_by_id
    user_login = driver.find_element_by_id('TANGRAM__PSP_10__userName')
    user_login.click()
    # 通过id去找

    # 3、find_element_by_class_name
    user = driver.find_element_by_class_name('pass-text-input pass-text-input-userName')
    user.send_keys('888')

    # 4、find_element_by_partial_link_text
    login_link = driver.find_element_by_partial_link_text('登')
    login_link.click()

    # 5、find_element_by_name
    pwd = driver.find_element_by_name('password')
    pwd.send_keys('555')
    submmit = driver.find_element_by_id('TANGRAM__PSP_10__password')
    submmit.click()

    # 6、find_element_by_css_selector
    # 根据属性选择器查找元素
    # .:class
    # #:id
    login_link2 = driver.find_element_by_css_selector('.tang-pass-footerBarULogin')
    login_link2.click()

    # 7、find_element_by_tag_name
    div = driver.find_element_by_tag_name()
    print(div)
    time.sleep(10)
finally:
    #关闭浏览器释放操作系统资源
    driver.close()