爬取爱奇艺电影热播榜数据分析与可视化处理

一.主题式网络主题式网络爬虫设计方案

1.爬虫名称：爬取爱奇艺电影热播榜

2.爬虫爬取的内容：爬取爱奇艺电影热播榜数据。 

3.网络爬虫设计方案概述：
实现思路：通过访问网页源代码,使用soup.find_all正则表达爬取数据，对数据进行保存数据，再对数据进行清洗和处理，数据分析与可视化处理。
技术难点：对一些库的使用还不太了解，爬取的内容需要分析处理。

二、主题页面的结构特征分析

1.主题页面的结构与特征分析:通过页面的结构分析，可以得到各个数据之间的便签都有关联的关系，电影名标签分布在p class="site-piclist_info_title"中，评分标签分布在span class="score"中，电影描述标签分布在p class="site-piclist_info_describe"中。

2.Htmls页面解析

网页url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'

三、网络爬虫程序设计

1.数据爬取与采集

import requests
from bs4 import BeautifulSoup
import pandas as pd


def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
    
    try:
        #发送get请求
        html = requests.get(url,headers = headers)
        #配置编码
        html.encoding = html.apparent_encoding 
        if html.status_code == 200: 
            print("成功过获取源代码")
            
    except Exception as e:
        print("获取源代码失败:%s"% e)
    
    return html.text 


url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
html = get_html(url)

#提取HTML并解析想获取的数据
soup = BeautifulSoup(html, 'html.parser')
    
#爬取电影名
#建立一个电影名列表Film_name
Film_name = []
a = soup.find_all('a', pos = '2')

for name in a:
    Film_name.append(name.text)
    
#爬取评分
#建立一个评分列表Score
Score = []
b = soup.find_all('span', class_ = 'score')

for score in b:
    Score.append(score.text)

#爬取电影描述
#建立一个电影描述列表Describe
Describe = []
c = soup.find_all('p', class_ = 'site-piclist_info_describe')

for describe in c:
    Describe.append(describe.text)
    
#创建一个空列表lt
lt = []
    
#爬取前25组电影数据，保存到列表lt中
print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format('排名', '电影名', '评分', '电影描述'))

for i in range(25):
    #输出前25组数据
    print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format(i+1, Film_name[i], Score[i], Describe[i]))
    lt.append([i+1, Film_name[i], Score[i], Describe[i]])

    
#创建DateFrame
df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分', '电影描述']) 

#保存文件，数据持久化
df.to_csv('爱奇艺电影热播榜.csv') 

csv文件保存成功

 

2.对数据进行清洗和处理

#读取csv文件
df = pd.DataFrame(pd.read_csv('爱奇艺电影热播榜.csv'))
df

截取前十几组数据

#删除无效列与行
df.drop('电影名', axis=1, inplace = True)
df.drop('电影描述', axis=1, inplace = True)
df.head()

#检查是否有重复值
df.duplicated()

#缺失值处理
df[df.isnull().values==True]#返回无缺失值

#用describe()命令显示描述性统计指标
df.describe()

 

3.数据分析与可视化

#数据分析与可视化

X = df.drop("电影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['评分'])
print("回归系数为:",predict_model.coef_)


#绘制排名与评分的回归图
matplotlib.rcParams['font.sans-serif']=['SimHei']#显示黑体中文
sns.regplot(df.排名,df.评分)

# 绘制柱状图
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.bar(df.排名, df.评分, label="排名与评分柱状图")
plt.xlabel("排名")
plt.ylabel("评分")
plt.title('排名与评分柱状图')
plt.show()

#绘制散点图
def scatter():
    plt.scatter(df.排名, df.评分, color='green', s=25, marker="o")
    plt.xlabel("排名")
    plt.ylabel("评分")
    plt.title("排名与评分散点图")
    plt.show()
scatter()

#绘制盒图
def box_diagram():
    plt.title('绘制排名与评分-箱体图')
    sns.boxplot(x='排名',y='评分', data=df)
box_diagram()

#绘制折线图
def line_diagram():
    x = df['排名']
    y = df['评分']
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("排名与评分折线图")
    plt.show()
line_diagram()

#绘制分布图
sns.jointplot(x="排名",y='评分',data = df)

sns.jointplot(x="排名",y='评分',data = df, kind='reg')

sns.jointplot(x="排名",y='评分',data = df, kind='hex')

sns.jointplot(x="排名",y='评分',data = df, kind='kde', color='r')

sns.kdeplot(df['排名'], df['评分'])

 

4.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程

#绘制一元一次回归方程
def main():
    colnames = ["排名", "电影名", "评分", "电影描述"]
    df = pd.read_csv('爱奇艺电影热播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.评分
    r=sts.pearsonr(X,Y) #相关性r
    print('相关性r',r)
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0]
    #使用leastsq（）函数对数据进行拟合
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    x=np.linspace(0,30,30)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2) 
    
    plt.title("电影排名和评分关系图")
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.legend() 
    plt.show()
main()

在绘制一元一次回归方程的基础上，绘制一元二次回归方程。

#绘制一元二次回归方程
def main2():
    colnames = ["排名", "电影名", "评分", "电影描述"]
    df = pd.read_csv('爱奇艺电影热播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.评分
    r=sts.pearsonr(X,Y) #相关性r
    print('相关性r',r)
    def func(p, x):
        a, b, c = p
        return a * x * x + b * x + c
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0,0]
    #使用leastsq（）函数对数据进行拟合
    Para = leastsq(error_func, p0, args = (X, Y))
    a, b, c = Para[0]
    print("a=", a,"b=", b,"c=", c)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    
    x = np.linspace(0,30,30)
    y = a * x * x + b * x + c
    
    plt.plot(x,y,color="red",label=u"一元二次回归方程直线",linewidth=2) 
    plt.title("电影排名和评分关系图")
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.legend() 
    plt.show()
main2()

5.将以上各部分的代码汇总，附上完整程序代码

import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq
import scipy.stats as sts

def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#伪装爬虫
    
    try:
        #发送get请求
        html = requests.get(url,headers = headers)
        #配置编码
        html.encoding = html.apparent_encoding 
        if html.status_code == 200: 
            print("成功过获取源代码")
            
    except Exception as e:
        print("获取源代码失败:%s"% e)
    
    return html.text 


url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
html = get_html(url)

#提取HTML并解析想获取的数据
soup = BeautifulSoup(html, 'html.parser')
    
#爬取电影名
#建立一个电影名列表Film_name
Film_name = []
a = soup.find_all('a', pos = '2')

for name in a:
    Film_name.append(name.text)
    
#爬取评分
#建立一个评分列表Score
Score = []
b = soup.find_all('span', class_ = 'score')

for score in b:
    Score.append(score.text)

#爬取电影描述
#建立一个电影描述列表Describe
Describe = []
c = soup.find_all('p', class_ = 'site-piclist_info_describe')

for describe in c:
    Describe.append(describe.text)
    
#创建一个空列表lt
lt = []
    
#爬取前25组电影数据，保存到列表lt中
print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format('排名', '电影名', '评分', '电影描述'))

for i in range(25):
    #输出前25组数据
    print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format(i+1, Film_name[i], Score[i], Describe[i]))
    lt.append([i+1, Film_name[i], Score[i], Describe[i]])

    
#创建DateFrame
df = pd.DataFrame(lt,columns = ['排名', '电影名', '评分', '电影描述']) 

#保存文件，数据持久化
df.to_csv('爱奇艺电影热播榜.csv') 

#读取csv文件
df = pd.DataFrame(pd.read_csv('爱奇艺电影热播榜.csv'))
df


#删除无效列与行
#df.drop('电影名', axis=1, inplace = True)
df.drop('电影描述', axis=1, inplace = True)
df.head()


#检查是否有重复值
df.duplicated()


#缺失值处理
df[df.isnull().values==True]#返回无缺失值


#用describe()命令显示描述性统计指标
df.describe()




#数据分析与可视化

X = df.drop("电影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['评分'])
print("回归系数为:",predict_model.coef_)


#绘制排名与评分的回归图
matplotlib.rcParams['font.sans-serif']=['SimHei']#显示黑体中文
sns.regplot(df.排名,df.评分)


# 绘制柱状图
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.bar(df.排名, df.评分, label="排名与评分柱状图")
plt.xlabel("排名")
plt.ylabel("评分")
plt.title('排名与评分柱状图')
plt.show()

#绘制散点图
def scatter():
    plt.scatter(df.排名, df.评分, color='green', s=25, marker="o")
    plt.xlabel("排名")
    plt.ylabel("评分")
    plt.title("排名与评分散点图")
    plt.show()
scatter()


#绘制盒图
def box_diagram():
    plt.title('绘制排名与评分-箱体图')
    sns.boxplot(x='排名',y='评分', data=df)
box_diagram()


#绘制折线图
def line_diagram():
    x = df['排名']
    y = df['评分']
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("排名与评分折线图")
    plt.show()
line_diagram()


#绘制分布图
sns.jointplot(x="排名",y='评分',data = df)

sns.jointplot(x="排名",y='评分',data = df, kind='reg')

sns.jointplot(x="排名",y='评分',data = df, kind='hex')

sns.jointplot(x="排名",y='评分',data = df, kind='kde', color='r')

sns.kdeplot(df['排名'], df['评分'])


#绘制一元一次回归方程
def main():
    colnames = ["排名", "电影名", "评分", "电影描述"]
    df = pd.read_csv('爱奇艺电影热播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.评分
    r=sts.pearsonr(X,Y) #相关性r
    print('相关性r',r)
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0]
    #使用leastsq（）函数对数据进行拟合
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    x=np.linspace(0,30,30)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回归方程直线",linewidth=2) 
    
    plt.title("电影排名和评分关系图")
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.legend() 
    plt.show()
main()

#绘制一元二次回归方程
def main2():
    colnames = ["排名", "电影名", "评分", "电影描述"]
    df = pd.read_csv('爱奇艺电影热播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.评分
    r=sts.pearsonr(X,Y) #相关性r
    print('相关性r',r)
    def func(p, x):
        a, b, c = p
        return a * x * x + b * x + c
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0,0]
    #使用leastsq（）函数对数据进行拟合
    Para = leastsq(error_func, p0, args = (X, Y))
    a, b, c = Para[0]
    print("a=", a,"b=", b,"c=", c)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"评分分布",linewidth=2)
    
    x = np.linspace(0,30,30)
    y = a * x * x + b * x + c
    
    plt.plot(x,y,color="red",label=u"一元二次回归方程直线",linewidth=2) 
    plt.title("电影排名和评分关系图")
    plt.xlabel('排名')
    plt.ylabel('评分')
    plt.legend() 
    plt.show()
main2()

 

四、结论

1.经过对主题数据的分析与可视化，得到结论：通过数据分析与可视化，了解到了电影排名与评分的关系，数据分析可以使内容更客观的体现出来，可视化体现了数据的变化规律。

2.小结：通过此次任务的完成，我学到了许多库的使用，这次任务同时提高了我对python的兴趣，提升了我的操作能力。