摘要：
本章节开始介绍logstash的插件及功能，插件对于logstash来说非常重要，按类别分为：input、filter、codec、output四种类型。 logstash有非常丰富的插件，通过安装目录下的 ./bin/logstash-plugin 脚本来管理和部署。用户可以通过命令行脚本对插件进 阅读全文
摘要：
前言 logstash是ELK日志系统中的一部分，主要承担将收集完成日志进行过滤，并且输出到es的职责。 logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集，但是由于资源开销占用过大，所以客户端的收集工作交给了beats进行，logstash专心在独立的服务器上完成日志解析处理 阅读全文
摘要：
ELK介绍 需求背景： 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志 为什么要用到ELK： 一般我们需要进行日志分析场景：直接在日 阅读全文
摘要：
本文是一篇介绍Wrapper Induction的阅读笔记，原文详见《Wrapper induction:Efficiency and expressiveness》。 Wrapper Induction是一种自动的学习Wrapper的技术，通过一系列需要抽取的页面资源（训练数据），每个被抽取的文本 阅读全文
摘要：
上一节搭建完了Hive，这一节我们来搭建ZooKeeper，主要是后面的kafka需要运行在上面。 ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包，可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt。 下载完用Xf 阅读全文
摘要：
上一节搭建完了Hadoop集群，这一节我们来搭建Hive集群，主要是后面的Spark SQL要用到Hive的环境。 Hive下载安装 下载Hive 0.13的软件包，可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt。 下载完用Xftp上 阅读全文
摘要：
上一节把Centos的集群免密码ssh登陆搭建完成，这一节主要讲一下Hadoop的环境搭建。 Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包。http://hadoop.apache.org/，或在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9 阅读全文
摘要：
Spark搭建集群比较繁琐，需要的内容比较多，这里主要从Centos、Hadoop、Hive、ZooKeeper、kafka的服务器环境搭建开始讲。其中Centos的搭建不具体说了，主要讲下集群的配置。 环境搭建软件包 由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的，所以Cento 阅读全文
摘要：
Scala是什么？ Scala是以实现scaleable language为初衷设计出来的一门语言。官方中，称它是object-oriented language和functional language的混合式语言。 Scala可以和java程序无缝拼接，因为scala文件编译后也是成为.class 阅读全文
摘要：
最近由于公司慢慢往spark方面开始转型，本人也开始学习，今后陆续会更新一些spark学习的新的体会，希望能够和大家一起分享和进步。 Spark是什么？ Apache Spark™ is a fast and general engine for large-scale data processin 阅读全文