孟尧

摘要： package com.mengyao.scala.function/*** Scala的变量声明和使用（可变类型和值类型）* * @author mengyao*/object Test0 { /** * Scala中的数据类型定义如下 * @inline implicit def byteWr... 阅读全文

摘要： /*为防止处理超大作业时超时，将io时间设为1小时 * <property> <name>dfs.datanode.socket.write.timeout</name> <value>6000000</value> </property> <property> <name>dfs.socket.t 阅读全文

摘要： ---- MD5加密与生成UUID例子（依赖于commons-io.jar）：begin ---------------------------------------------------------------------------------------------------- 1 pa... 阅读全文

摘要： Scala是一种静态语言、面向对象的函数式编程语言。它的程序代码以.scala结尾，编译时会编译成.class字节码在jvm上运行。 类和方法默认是public的，不必显式声明public。 return是可选的，方法调用会默认返回最后一行表达式； 不需要再每行代码后面写";"，如果是多行代码... 阅读全文

摘要： 使用CM离线安装CDH-5.4.3，如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 阅读全文

摘要： 概述 flume是在2011年被首次引入到Cloudera的CDH3分发中，2011年6月，Cloudera将flume项目捐献给Apache基金会。2012年，flume项目从孵化器变成了顶级项目，在孵化的这一年中，开发人员就已经开始基于Star Trek Themed标签对flume进行重构，... 阅读全文

摘要： //将时间戳长整形数值转换为yyyy-MM-dd HH:mm:ss格式SELECT FROM_UNIXTIME(CREATE_TIME, '%Y-%m-%d %H:%i:%S') FROM TBLS 导出A节点mysql数据库的weixin库的所有数据为weixin.sql mysqldump -... 阅读全文

摘要： 创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111 [root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 -- 阅读全文

摘要： 1、创建一个agent，sink类型需指定为自定义sink vi /usr/local/flume/conf/agent3.conf agent3.sources=as1 agent3.channels=c1 agent3.sinks=s1 agent3.sources.as1.type... 阅读全文

摘要： kafka简介 kafka是由LinkedIn开发，主要是用来处理Linkedin的大面积活跃数据流处理(activity stream). 此类的数据经常用来反映网站的一些有用的信息，比如PV,页面展示给哪些用户访问，用户搜索什么关键字最多，这类信息经常被log到文件里，然后线下且周期性的去分析... 阅读全文