波比12

摘要：主要介绍几种常见Flume的Sink--汇聚点 1.Logger Sink 记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink 必须配置的属性： 属性说明： !channel – !type – The component type name, nee 阅读全文

摘要：1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压 阅读全文

摘要：对于简单的爬虫任务，尤其对于初学者，urllib+BeautifulSoup足以满足大部分的任务。 1、urllib是Python3自带的库，不需要安装，但是BeautifulSoup却是需要安装的。安装方式：pip install beautifulsoup4 其官方文档中文版地址：https:/ 阅读全文