摘要：
这是因为格式化namenode之后，namenode节点中VERSION的ClusterID会改变！！！ 解决办法： 1.打开namenode节点的hdfs-site.xml文件，查看你的namenode的元数据存储位置和datanode数据存储位置； 2.然后到对应的的目录下找到VERSION文件 阅读全文
摘要：
一、HBase表的基本结构 1.概述： 平时常见的MySQL、Oracle数据库都是传统型关系数据库，它们都是按行查询、按行存储；而HBase为非关系型数据库，它是按列存储的的。 在HBase插入数据时，先输入数据的格式为rowkey => info => column => value rowke 阅读全文
摘要：
一、HBase读数据流程 1.Client访问Zookeeper，从ZK获取-ROOT-表的位置信息，通过访问-ROOT-表获取.META.表的位置，然后确定数据所在的HRegion位置； 2.Client访问HRegion所在的HRegionServer，通过HRegionServer获取需要查找 阅读全文
摘要：
一、HBase概述 1.HBase是Hadoop数据库，是一个分布式、可扩展的大数据存储。 HBase是用于对大数据进行随机、实时读写访问的非关系型数据库，它的目标托管非常大的表——数十亿行N百万列。 正如Bigtable利用Google文件系统提供的分布式数据存储一样，HBase在Hadoop的H 阅读全文
摘要：
1.查看文件夹大小 =>ls -lht 路径 ls -lht /opt/jars 2.查看文件大小 =>du -sh / du -sh /opt/jars/calllog.csv 3.编辑文件时显示行数 => shift+: 输入 set nu 阅读全文
摘要：
一、DecimalFormat 1.概述 public class DecimalFormat extends NumberFormat DecimalFormat是格式为十进制数的NumberFormat的具体子类。 它具有各种功能，旨在使任何地区的数字解析和格式化。 2.构造方法 Decimal 阅读全文
摘要：
一、接口回调+自定义分区 1.接口回调：在使用消费者的send方法时添加Callback回调 注意：在自定义分区后，你的消费者会收不到消息，因为消费者默认接收的分区为0。 二、拦截器 1）创建生产者类； 2）创建自定义拦截器类实现ProducerInterceptor接口，重写抽象方法； 3）在业务 阅读全文
摘要：
一、Kafka命令行操作 1.查看当前集群已存在的主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --list 2.创建主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --create --relicatio 阅读全文
摘要：
一、Kafka概述 1.Kafka是一个分布式流媒体平台，它有三个关键功能： (1)发布和订阅记录流，类似于消息队列或企业消息传递系统； (2)以容错的持久方式存储记录流； (3)记录发送时处理流。 2.Kafka通常应用的两大类应用 (1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道； 阅读全文
摘要：
一、SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". 这个报警告的原因简单来说时因为slf4j的版本和log4j的版本不匹配。 解决办法： 1.在你的maven库中查找你的slf4j版本，若有两个，最后选版本低的，因为本 阅读全文