爬虫-今日头条我的收藏-增量式（二）

背景：

能够全量爬取今日头条我的收藏内容之后，新收藏的内容依然希望能够保存到新文件中。

思路：

每次都全量爬取数据太耗时，增量式爬取可以节省时间。但逻辑上显然要复杂一些。关键的问题是要找到断点的位置。
取消收藏的影响：爬虫旧文件用户收藏的链接有可能被取消收藏。所以在断点位置的判断上不能只取一条数据的id作为参考，考虑取连续100条的我的收藏id作为判断基准，这样即便用户偶尔取消收藏几条，依然能够准确找到断点。
增量式功能可以覆盖全量下载我的收藏。第一次下载由于没有断点，需要全量下载。后续由于已经有下载的文件作为参照物，只需要从参照物继续下载。
每次运行增量爬虫，如果有新内容，则新增一个文件，文件格式：myfavorites-年月日-时分秒.txt。如果没有新内容，不需要新增文件。

实现：

代码参考这里：https://github.com/pmh905001/myfavorite/blob/master/toutiao/increasmentdownload.py .主代码如下：

def increasement_download():
    url, headers = read_curl()
    latest_ids_downloaded = latest_ids_from_file()
    page = get_page(url, headers, 0, latest_ids_downloaded)
    try_num = 0
    file_name = f'myfavorites-{time.strftime("%Y%m%d-%H%M%S")}.txt'
    while page['has_more']:
        try_num += 1
        max_behot_time = page['next']['max_behot_time']
        write_page(page, file_name)
        sleep_time = random.randint(1, 10)
        print(f'-------------------------------------------page number: {try_num}, sleep {sleep_time} seconds')
        time.sleep(sleep_time)
        page = get_page(url, headers, max_behot_time, latest_ids_downloaded)
    else:
        write_page(page, file_name)

从断点处按照有新到旧的id需要获取最多100条，这种情况下需要遍历所有myfavorites-年月日-时分秒.txt的文件且需要倒序排列，依次读取id直到100条（用户可以自己调整）。参考latest_ids_from_file()

def latest_ids_from_file():
    ids = []
    my_favorite_files = sorted([f for f in os.listdir('.') if f.startswith('myfavorites-')], reverse=True)
    for file_name in my_favorite_files:
        with open(file_name, 'r', encoding='utf-8') as f:
            page: dict = json.loads(f.readline())
            if page.get('data'):
                for record in page['data']:
                    if len(ids) <= 100:
                        ids.append(record['id'])
                    else:
                        return ids
    return ids

在获取每页的数据之后，需要找到断点，把冗余的数据给删除。重置has_more=False。参考get_page()方法

def get_page(url, headers, max_behot_time=0, latest_ids_downloaded=[]):
    url = replace_url_param(url, 'max_behot_time', max_behot_time)
    response = requests.get(url, headers=headers)
    page: dict = response.json()
    if page.get('data'):
        for index, record in enumerate(page.get('data')):
            if record['id'] in latest_ids_downloaded:
                page['data'] = page['data'][:index]
                page['has_more'] = False

在写文件的时候，如果页数据收藏列表如果为空，则不写入文件。参考write_page()

def write_page(page, file_name):
    if not page.get('data'):
        return
    with open(file_name, 'a', encoding='utf-8') as fp:
        page_info = json.dumps(page, ensure_ascii=False)
        fp.write(page_info)
        fp.write('\n')

    for item in page['data']:
        try:
            print(f"{item['id']}: {item['title']}   => {item['share_url']}")
        # Fixme: UnicodeEncodeError
        except UnicodeEncodeError:
            logging.exception('occurred exception when print')