TonyChai

摘要： 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下:$ cat /etc/hosts # zookeeper hostnames: 192.168.8.182 zk1 192.168.8.183 zk2 192.168.8.184 zk3 2) 每台机器上安装jdk, zoo... 阅读全文

摘要： Replication简介 Kafka中的Replication功能是为了给每个partition提供备份，当某个Broker挂掉时可以迅速实现故障切换（failover)。我们可以在创建或修改topic时指定replica factor，来设定备份数目。请阅读如下实例来准确理解该参数作用：如果一个... 阅读全文

摘要： 除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。而有些时候，我们自己手写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是S... 阅读全文

摘要： 参数 取值 备注fs.default.nameNameNode的URI。hdfs://主机名/dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要，用这个文件控制许可的datanode列表。d... 阅读全文

摘要： 要处理复杂关系的数据，一个工程里面绝对不止一个MapReduce作业，当有多个MapReduce作业时， 并且每个作业之间有依赖关系，所谓的依赖就是一个作业得到的结果是另外一个作业的输入，这个时候我们可 以使用JobControl吊用其中的的addDepending()方法，管理每个M... 阅读全文

摘要： HDFS 常用的文件操作命令hdfs dfs -text /pub/20151019/1/4/gwmvod/mediags.moretv.com.cn/*.bz2 | wc -lhdfsdfs-du-s-h/pub/20151019/1/4/gwmvod/mediags.moretv.com.cn... 阅读全文

摘要： zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就... 阅读全文

摘要： 目录(?)[-]简介域切分及操作正则匹配格式化输出数组条件判断及流程控制与shell交互awk与变量错误排查其他简介AWK:三位创造者Aho、Weinberger和Kernighan统称官方定义：一个优秀的样式扫描与处理工具定位：AWK是一种用于处理文本的编程语言工具，主要用于格式化报文或从一个大的... 阅读全文

摘要： 1、查看物理CPU的个数 #cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc –l2、查看逻辑CPU的个数 #cat /proc/cpuinfo |grep "processor"|wc –l3、查看CPU是几核 #cat /proc/cpuin... 阅读全文

摘要： [-]简介调用方式选项命令集合寻址方式基本用法文件操作附加-插入-修改文本删除文本替换文本转换文本补充--------------------------------------------简介简介一个“非交互式的”字符流编辑器（stream editor）Sed是一非交互性文本编辑器，它编辑文件或... 阅读全文