晨星_star

摘要：手撸分布式爬虫框架 分布式爬虫： 分布式爬虫: 分布式进程和进程间通信的内容 案例： 爬取 2000 个百度百科网络爬虫词条以及相关词条的标题、摘要和链接等信息，采用分布式结构改写基础爬虫，使功能更加强大 爬虫结构： 模式： 分布式爬虫采用主从模式。主从模式是指由一台主机作为控制节点负责所有运行网络 阅读全文

摘要：爬虫基础框架 爬虫调度器： 基础模块： URL 管理器、HTML 下载器、HTML 解析器和数据存储器等模块 调度器： 初始化各个模块，然后通过 crawl(root_url)方法传入入口 URL，方法内部实现按照运行流程控制各个模块的工作 spider 调度: from firstSpider.D 阅读全文

摘要：BeautifulSoup 数据解析 + 提取 soup = Beautifulsoup(html_str,'lxml',from_enconding='utf-8') soup = Beautifulsoup(open('index.html')) print(soup.prettify) # 输 阅读全文