07 2016 档案
摘要：在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法 一、CountDownLatch用法 CountDownLatch类位于java.util.concurr
阅读全文
摘要：在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有： 1) 文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m
阅读全文
摘要：一、 配置ssh 1. 命令 ssh-keygen [选项] 2. 说明 用于为“ssh”生成、管理和转换认证密钥，它支持RSA和DSA两种认证密钥 3. 选项 -C：添加注释 -f：指定用来保存密钥的文件名 -l：显示公钥文件的指纹数据 -q：静默模式 -t：指定要创建的密钥类型，密钥类型包括rs
阅读全文
摘要：kafka（官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统 在Flume中的KafkaChannel支持Flume与Kafka整合，可以将Kafka当做channel使用，其主要配置项如下
阅读全文
摘要：NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)中数据 在Flume中的netcat支持Flume与NetCat整合，flume可以使用netcat读取网络中的数据，其主要配置项如下 启动flume（./flume-ng agent
阅读全文
摘要：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可
阅读全文
摘要：java -Xmx3550m -Xms3550m -Xmn2g -Xss128k1、-Xmx3550m：设置JVM最大可用内存为3550M。2、-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。3、-Xmn2g：设置年轻代大小
阅读全文
摘要：1、节点规划 在master、backup节点上添加eth0、eth1两网卡，具体添加过程，参考“基于VMware为CentOS 6.5配置两个网卡” 2、IP规划 master backup eth0 192.168.46.128 192.168.46.130 eth1 192.168.46.12
阅读全文
摘要：1、进去http://fedoraproject.org/wiki/EPEL 2、因为系统是centos 6.5，所以获取epel-release-latest-6.noarch.rpm的地址（https://dl.fedoraproject.org/pub/epel/epel-release-la
阅读全文
摘要：为CentOS 6.5配置两块网卡，一块是eth0，一块是eth1，下面以master为例 1、选择“master”-->“编辑虚拟机设置”，如下所示 2、单击“添加”，如下 3、选择“网络适配器”，单击“下一步”，如下 4、我配置的网络就是NAT模式，这里默认，单击“完成” 5、单击“确定”，完成
阅读全文