于二黑

摘要： 日志报错信息如下：大致是说因为maxwell在对接mysql时伪装成一个从库slave，但是uuid重复。猜想是其他部门同事也在同时使用maxwell，都使用的是maxwell默认的uuid ，从而导致uuid重复而启动不起来 解决： 在properties文件添加： 阅读全文

摘要： Spark与Hadoop的对比 Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言 Hadoop的编程语言是Java 使用Hadoop进行迭代计算非常耗资源 Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁 阅读全文

摘要： mysql -h 10.0.15.145 -P 3306 -u maxwell -p#10.0.15.145 远程机器ip#-P 注意是大写P 端口#-u 用户#-p 密码 阅读全文

摘要： 可能出现的原因就是因为crontab不会从用户的/etc/profile文件中读取环境变量，所以就出现 使用定时crontab执行时 无法执行 抛错 所以在使用crontab 定时执行脚本时 在脚本中尽量使用绝对路径，除去全局变量以外 解决方法： 1. 直接把/etc/profile文件中配置的sp 阅读全文

摘要： sink group允许组织多个sink到一个实体上，sink processors能够提供在组内所有sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个sink到另一个sink，简单的说就是一个source对应一个，即多个sink，这里考虑的是可靠性与性能，即故障转移与负载均衡 阅读全文

摘要： FLUM概述 是一个分布式的数据收集系统，具有高可靠、高可用、事务管理、失败重启等功能，数据处理速度快，完全可以用于生产环境 核心：agent（是FLUM的一个代号，名字 ）。agent是一个Java进程，运行在日志收集端，通过agent接收日志，然后暂存起来，再发送到目的地 核心概念：agent、 阅读全文

摘要： kafka-0.10.1.X版本之前: auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中) kafka-0.10.1.X版本之后: auto.offset.reset 的值更改为:earliest,latest,和none (offest保存 阅读全文

摘要： MapReduce是一种分布式计算模型，主要用于搜索领域，解决海量数据的计算问题 MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。 两个函数的形参是key、value对，表示函数的输入信息 解释：一个文件按照块（每块给定具体值）分为多 阅读全文

摘要： Hadoop 是一个开源框架，可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统（存储） MapReduce是分布式数据处理模型和执行环境（计算） 作者：Doug Cutting Hadoop特点 扩容能力 能可靠地存储和处理千兆 阅读全文

摘要： HDFS命令操作 首先需要在xshell启动hadoop start-all.sh or start-hdfs.sh hadoop fs -ls / (显示当前目录下所有文件) hadoop fs -du /sevenclass (显示目录中所有文件的大小) hadoop fs -cat /a.tx 阅读全文