04 2016 档案
摘要：1. 错误提示 配置文件： 2. 解决方法 链接： http://serverfault.com/questions/690588/flume-error-log-while-using-filechannel 只要把配置文件中的关于channel配置checkpointDir和dataDir目录清
阅读全文
摘要：java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:2367) at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:130) at j...
阅读全文
摘要：1. 错误所在 2. 解决方法 原因的inputCharset属性的默认值UTF-8,但是所读取的日志文件的字符集却是GBK,所以更改一下这个属性值就可以了
阅读全文
摘要：1. 用mysql -e在脚本中执行mysql的sql语句 执行结果 2.通过管道符号 select2.sql 3.命令行单独调用sql文件 select2.sql 4. shell脚本中MySQL提示符下调用SQL , oracle 也可以这样干 select3.sh 执行情况
阅读全文
摘要：还可以使用read命令读取Linux系统上的文件。 每次调用read命令都会读取文件中的"一行"文本。当文件没有可读的行时，read命令将以非零状态退出。 读取文件的关键是如何将文本中的数据传送给read命令。
阅读全文
摘要：1.管道 "|" ls | cat -n > out.txt 2. 子shell 2.1 子shell 说明 在shell脚本中可以用()操作符可以定义一个子shell 执行结果 说明： 当命令在子shell中执行的时候不会对当前shell有任何影响 2.2 获取子shell 中的数据 cmd_ou
阅读全文
摘要：1. 普通数组 bash支持一维数组（不支持多维数组），并且没有限定数组的大小。类似与C语言，数组元素的下标由0开始编号。获取数组中的元素要利用下标，下标可以是整数或算术表达式，其值应大于或等于0。 1.1 定义数组 在Shell中，用括号来表示数组，数组元素用“空格”符号分割开。定义数组的一般形式
阅读全文
摘要：1. 实例描述 单表关联这个实例要求从给出的数据中寻找出所关心的数据，它是对原始数据所包含信息的挖掘。 实例中给出child-parent 表， 求出grandchild-grandparent表。 输入数据 file01: 希望输出为: 2. 设计思路 1. 在map阶段，将原数据进行分割，将pa
阅读全文
摘要：1. 设计思路 在MapReduce过程中自带有排序，可以使用这个默认的排序达到我们的目的。 MapReduce 是按照key值进行排序的，我们在Map过程中将读入的数据转化成IntWritable类型，然后作为Map的key值输出。 Reduce 阶段拿到的就是按照key值排序好的<key,val
阅读全文
摘要：1. 设计思路 去重，重点就是无论某个数据在文件中出现多少次，最后只是输出一次就可以。 根据这一点，我们联想到在reduce阶段数据输入形式是 <key, value list>,只要是key相同的，在shuffle阶段都会聚合在一起，所以只要在map阶段将要去重的数据作为key值就可以达到目的。
阅读全文
摘要：1. 整体环境和设置 1.1 hadoo1.0.4集群部署在4台VMWare虚拟机中，这四台虚拟机都是通过NAT模式连接主机 集群中/etc/hosts文件配置 把上述的配置加入到windows系统中/drives/C/Windows/system32/drivers/etc/hosts的文件中，就
阅读全文
