摘要：
安装VirtualBox为了共享文件夹，折腾了一晚上！网上的很多资料都不是很全面，这里就全面的总结一下，如果有其他的疑问，可以留言多多交流。 "VirtualBox下载地址,版本为5.1.2" 设置共享文件路径 点击虚拟机 设置 选择 共享文件夹 （图1 设置共享文件夹） 设置共享文件夹路径 1 选 阅读全文
摘要：
Hive出现的背景 Hadoop提供了大数据的通用解决方案，比如存储提供了Hdfs，计算提供了MapReduce思想。但是想要写出MapReduce算法还是比较繁琐的，对于开发者来说，需要了解底层的hadoop api。如果不是开发者想要使用mapreduce就会很困难.... 另一方面，大部分的开 阅读全文
摘要：
前几章 工作机制 阅读全文
摘要：
基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中，消费者从brok 阅读全文
摘要：
Kafka是目前非常流行的消息队列中间件，常用于做普通的消息队列、网站的活性数据分析（PV、流量、点击量等）、日志的搜集（对接大数据存储引擎做离线分析）。 全部内容来自网络，可信度有待考证！如有问题，还请及时指正。 概念介绍 在Kafka中消息队列分为三种角色: ，即生产者，负责产生日志数据。 ，存 阅读全文
摘要：
Beats是elastic公司的一款轻量级数据采集产品，它包含了几个子产品： packetbeat(用于监控网络流量)、 filebeat(用于监听日志数据，可以替代logstash input file)、 topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)、 winlogbeat(用于 阅读全文
摘要：
这本书算是第二本放弃的书，第一本是《乌合之众》，第二本就是这个了。 说说我读这本书的感想 这本书涵盖了中国古典文学基本所有的内容，以及一些国外大家的作品。如果没有点文学的积累，就会像读天书一样。因为它不是一般的书籍导读，而是老先生几十年读书的总结，要是没有一些阅读的经验，是无法参透的。 前面第一部分 阅读全文
摘要：
This document is a starting point for users working with Hadoop Distributed File System (HDFS) either as a part of a Hadoop cluster or as a stand alon 阅读全文
摘要：
搭建HDFS 增加主机名 我这里仅仅增加了master主机名 如果配置远程集群，则需要配置SSH 我这里就是单节点测试玩玩，所以这步骤先省略了。 解压缩hadoop到/usr目录下 创建几个需要的目录 修改配置文件，在$HADOOP_HOME/etc/hadoop下 修改hadoop env.sh 阅读全文
摘要：
Alt+回车 导入包,自动修正 Ctrl+N 查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数等) Ctrl+E或者Alt+Shift+C 最近更改的代码 Ctrl+R 阅读全文