Python web crawler（2.1）多循环嵌套练习

写个函数，传入（书名:book，标题:tittle，内容:content），要求在book文件夹下（不存在则创建），创建每个tittle.txt文件，写入content内容

import os

def save_to_file(folder_book, title, content):
    # 如果文件夹不存在，则创建
    if not os.path.exists(folder_book):
        os.makedirs(folder_book)

    # 构建文件路径
    file_path = os.path.join(folder_path, f"{title}.txt")

    # 写入内容到文件
    with open(file_path, 'w', encoding='utf-8') as file:
        file.write(content)

# 示例用法
book_name = "MyBook"
chapter_title = "Chapter1"
chapter_content = "This is the content of Chapter 1."

save_to_file(book_name, chapter_title, chapter_content)

从某一个书的网站，写几个函数，分别获取目录中的（所有书、所有章节、所有内容），返回为字典，写入本地output.json中

import random
import time
import json  # 导入 json 模块

def get_html(url):
    # 实现 get_html 函数，返回一个 tree 对象
    # （此处应该包含网络请求和HTML解析的代码）
    pass
    return tree

def get_books(tree):
    # 实现 get_books 函数，返回一个字典，其中键是书名，值是书的URL
    # （此处应该包含从 tree 对象中提取书名和URL的代码）
    pass
    return {book_name: book_url}

def book_mulu(book_url):
    # 实现 book_mulu 函数，返回一个字典，其中键是章节标题，值是章节URL
    # （此处应该包含从 book_url 获取章节信息的代码）
    pass
    return {title: title_url}

def book_mulu_detail(title: title_url):
    # 实现 book_mulu_detail 函数，返回一个字典，其中键是标题，值是文本内容
    # （此处应该包含从 tree 对象中提取文本内容的代码）
    pass
    return {title: text}

def main():
    # 定义起始URL
    url = 'https://www.shu.com/book1'
    # 初始化一个空字典，用于存储最终结果
    result_dict = {}
    
    # 遍历每一本书，获取书名和对应的URL
    for book_name, book_url in get_books(get_html(url)).items():
        print(book_name)  # 打印当前处理的书名
        # 初始化一个空字典，用于存储当前书籍的章节和内容
        book_dict = {}
        # 遍历当前书籍的每个章节，获取章节标题和对应的URL
        for title, title_url in book_mulu(get_html(book_url)).items():
            # 获取当前章节的内容
            title_content = book_mulu_detail(title, get_html(title_url))
            # 更新当前书籍字典，将当前章节和内容添加进去
            book_dict.update(title_content)
            # 打印当前章节信息和下载完成提示
            print(title, title_url, "下载完成")
            # 随机等待一段时间，模拟人的操作，避免过于频繁的请求
            time.sleep(random.randint(1, 3))
            
        # 将当前书籍字典添加到最终结果字典中
        result_dict[book_name] = book_dict

    # 将最终结果字典以 JSON 格式写入文件
    with open('output.json', 'w', encoding='utf-8') as file:
        json.dump(result_dict, file, ensure_ascii=False, indent=2)

# 执行主题函数
if __name__ == '__main__':
    main()

把以下“目录字典”，

mulu_dict = {
    '书1': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书2': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书3': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书4': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'}
}

要读取 JSON 文件并将其转换为字典，可以使用json.load()函数。

import json

# 读取 JSON 文件
with open('output.json', 'r', encoding='utf-8') as file:
    mulu_dict = json.load(file)

# 打印加载的字典
print(mulu_dict_dict)

把下面目录字典，依次写入到\书X\章节X.text中

mulu_dict = {
    '书1': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书2': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书3': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书4': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'}
}

代码如下

import os

# 你的 result_dict 字典
mulu_dict = {
    '书1': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书2': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书3': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'},
    '书4': {'章节1': '内容1', '章节2': '内容2', '章节3': '内容3'}
}

def write_to_files(dictionary):
    for book_name, chapters in dictionary.items():
        # 如果文件夹不存在，则创建
        if not os.path.exists(book_name):
            os.makedir(book_name)
        print('准备写入：',book_name)

        for chapter_name, content in chapters.items():
            # 构建文件相对路径 /books/书名/章节名.txt
            file_path = os.path.join(book_dir, f"{chapter_name}.txt")
            # 写入标题和内容到文件中
            with open(file_path, 'w', encoding='utf-8') as file:
                file.write(chapter_name+'\n')
                file.write(content)
                print(chapter_name,'写入完成')

# 调用函数写入文件
write_to_files(mulu_dict)