爬取简书

爬取简书思路：

1）使用selenium模拟浏览器打开网页
2）由于分页是通过点击【阅读更多】按钮来加载数据的，因此需要模拟单击该按钮
3）确定要爬取多少页的数据，如果要爬取10页的数据，就需要模拟单机10次【阅读更多】按钮
4）单击该按钮后，需要定位这个信息列表元素，然后使用xpath提取数据
5）提取到该数据之后，将它保存到mysql数据库中
第一个错误

第二个错误

第三个错误

附上源码：

import time
import pymysql
from lxml import etree
from selenium import webdriver

# 浏览器操作对象
driver = webdriver.Chrome()
# 爬取的url
driver.get('https://www.jianshu.com/')


# 加载更多
def load_mord(num):
    # 通过观察发现， 打开页面需要鼠标滑动5次才会出现【阅读更多】按钮
    for i in range(5):
        js = "var q = document.documentElement.scrollTop = 1000000"
        driver.execute_script(js)
        # 休眠 2 秒
        time.sleep(2)
    if num == 0:
        # 休眠 2 秒
        time.sleep(2)
        # 定位并单击【阅读更多】按钮加载更多
        load_more = driver.find_element_by_class_name('load-more')
        # 点击
        load_more.click()


def get_html():
    """获取内容源码"""
    note_list = driver.find_element_by_class_name('note-list')
    html = note_list.get_attribute('innerHTML')
    return html


def extract_data(content_html):
    """传入内容网页源码，使用Xpath提取信息标题，简介，发布昵称"""
    html = etree.HTML(content_html)
    # 标题
    title_list = html.xpath('//li//a[@class="title"]/text()')
    # 简介
    abstract_list = html.xpath('//li//p[@class="abstract"]/text()')
    # 昵称
    nickname_list = html.xpath('//li//a[@class="nickname"]/text()')

    data_list = []

    for index, x in enumerate(title_list):
        item = {}

        item['title'] = title_list[index]
        item['abstract'] = abstract_list[index]
        item['nickname'] = nickname_list[index]
        data_list.append(item)
    return data_list


def insert_data(sql):
    # db = pymysql.connect("127.0.0.1", 3306, "root", "python", "xs_db", charset="utf8")
    # 链接mysql
    db = pymysql.connect(
        host='localhost',
        port=3306,
        user='root',
        passwd='python',
        db='xs_db',
        charset='utf8'
    )
    try:
        cursor = db.cursor()
        return cursor.execute(sql)
    except Exception as ex:
        print(ex)
    finally:
        # 数据库提交
        db.commit()
        # 关闭数据库
        db.close()


# 模拟点击2次
for x in range(2):
    print('模拟点击加载更多第{}次'.format(str(x)))
    load_mord(x)
    time.sleep(1)

resuts = extract_data(get_html())
for item in resuts:
    # 插入数据
    sql = "insert into tb_test(title,abstract,nickname) values ('%s','%s','%s')" % (
    item["title"], item["abstract"], item["nickname"])
    insert_data(sql)

总结：多交流，多操作，多爬取，多思考。