抓取网易云音乐的评论数据并做可视化分析 - Python

网易云音乐火不火我不知道，但是网易云音乐的评论是真的火，不懂怎么会有这么多评论的人啊，想不通。之前看了很多文章是做网易云评论数据抓取并可视化的，今天我也来试着做个。随便找首歌。

爬虫部分

网易云音乐播放页面，https://music.163.com/#/song?id=1804320463，首先尝试了下requests直接抓取，发现返回的数据没有想要的内容。打开开发者工具，F12，查看了下源码，原来网易云音乐的数据都存储在iframe里，这就相当于给爬虫多做了扇门，所以想获取到想要的评论数据就必须进入到iframe里。

目标确定（要去iframe里获取数据），两种方式，第一种，通过selenium切入到iframe；第二种，通过评论内容在开发者工具里查找评论数据接口，然后将数据json化。

第一种方法：

"""
    抓取网易云音乐的评论
"""

# 第一种方法，使用driver
import random
import time
from selenium import webdriver
from icecream import ic
import csv
from selenium.webdriver.common.by import By

def scroll_down_to_bottom(driver):
    # 一个将网页下拉到底部的函数，尤其对懒加载好用，先传入驱动
    # 思路是，针对懒加载的
    # 1，先获取页面最大高度，通过js；并创建一个列表用于保存页面最大高度的值；
    # 2，执行滚动条拖动操作到最底部，等待懒加载加载完成，加载完成后，滚动条的高度会增长；
    # 3，将列表中的最后一个值，就是上一次页面高度和当前高度进行对比，如果相等，说明到了最底部，如果不等，表示懒加载出了新数据，那么继续上述步骤
    browser_window_heights = [] # 创建列表，存储页面高度
    # 获取第一次加载的页面高度并添加到列表
    browser_window_heights.append(driver.execute_script("return document.body.scrollHeight;"))
    # 开始循环
    while True:
        # 执行滚动操作
        driver.execute_script("scroll(0, 10000);")
        time.sleep(random.uniform(2, 5)) # 随机休眠2到5秒
        # 获取执行滚动后的页面高度
        check_now_height = driver.execute_script("return document.body.scrollHeight;")
        # 将拖动滚动条后的高度与列表中的最后一次高度进行对比，如果相等，表明到了底部，如果不相等，继续循环
        if check_now_height == browser_window_heights[-1]:
            print('****当前高度与最后高度相等，已到底部！退出循环！****')
            break
        else:
            # 如果不相等，就将滚动后的高度追加到列表末尾
            browser_window_heights.append(check_now_height)

def save_to_csv(comment_user,comment_content, comment_time):
    # # 保存到csv
    # f = open('网易云音乐踏山河评论数据.csv', mode='a', encoding='utf-8-sig', newline='')
    # csvWriter = csv.writer(f) # 写入器
    # csvWriter.writerow(['评论人', '评论内容', '评论时间']) # 写入表头
    # for data in datas:
    #     csvWriter.writerow(data)
    # f.close() # 关闭文档

    # 保存到csv也可以这样写
    f = open('网易云音乐踏山河评论数据.csv', mode='a', encoding='utf-8-sig', newline='')
    csvWriter = csv.DictWriter(f, fieldnames=[
        '评论人',
        '评论内容',
        '评论时间',
    ])
    csvWriter.writeheader()  # 写入头
    ditdata = {
        '评论人':comment_user,
        '评论内容':comment_content,
        '评论时间':comment_time,
    }
    csvWriter.writerow(ditdata) # 写入数据
    f.close()

# 初始化浏览器驱动
driver = webdriver.Chrome()
# 利用驱动加载网页
driver.get('https://music.163.com/#/song?id=1804320463') # 这里以踏山河为例
# 利用selenium的隐式等待等待网页加载完成
driver.implicitly_wait(10)
# 定位到iframe
iframe = driver.find_element(By.ID, 'g_iframe')
# 切入iframe
driver.switch_to.frame(iframe)
# 利用滚动条下拉函数将页面拉到底部
scroll_down_to_bottom(driver=driver)
# 保存到csv
f = open('踏山河评论数据.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['评论人','评论内容','评论时间']) # 写入头

# 查找评论信息
for page in range(1, 11):
    print(f'------------------开始采集第{page}页数据！------------------')
    comments = driver.find_elements(By.CLASS_NAME, 'itm')
    print(len(comments))
    time.sleep(random.uniform(2, 5))
    datas = []
    print(f'正在采集第{page}页数据！')
    for comment in comments:
        comment_user = comment.find_element(By.XPATH, './/div[@class="cntwrap"]/div/div/a').text
        comment_content = comment.find_element(By.CSS_SELECTOR, '.cntwrap div div').text # 需要处理
        comment_content = comment_content.split('：')[-1].strip()
        comment_time = comment.find_element(By.XPATH, './/div[@class="rp"]/div[contains(@class, "time")]').text
        ic(comment_user, comment_content, comment_time)
        # 调用写入器写入数据
        csv_writer.writerow([comment_user, comment_content, comment_time])

    # 执行翻页
    driver.find_element(By.XPATH, '//a[contains(@class, "zbtn znxt")]').click()
f.close() # 将文件关闭

第二种方法是通过开发者工具查找数据来源：数据来源是有的，但是它的参数进行了js加密。要解密他的js代码才能解析json数据。

 数据处理

数据处理无非是用pandas对数据进行去重，删除空值处理。

import pandas as pd

# 读取数据
df = pd.read_csv('踏山河评论数据.csv')
# 去重复
df = df.drop_duplicates()
# 去空值处理
df = df.dropna()
# 抽样看看
print(df.sample(10))

数据可视化

做一个高频词的柱状图和饼图。

清洗完数据后提取出评论中的高频词。