摘要: 阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等 阅读全文
posted @ 2018-01-22 15:38 飞天的鱼 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一 简介 二 MongoDB基础知识 三 安装 四 基本数据类型 五 CRUD操作 六 可视化工具 七 pymongo 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档(document-oriented)的数据库,而不是关系型数据 阅读全文
posted @ 2018-01-22 15:37 飞天的鱼 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一 介绍 二 基本使用 三 遍历文档树 四 搜索文档树 五 修改文档树 六 总结 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小 阅读全文
posted @ 2018-01-22 15:34 飞天的鱼 阅读(195) 评论(0) 推荐(0) 编辑