可以看看你胖次吗

摘要： 作用 [ -n 参数 ] 可以用来判断该参数是否已被赋值 特殊案例 !#/bin/bash #false #判断的是a这个参数，因为没赋值，所以返回flase if [ -n "$a" ] then echo true else echo false fi #true #判断的是“-n $a”这个字 阅读全文

摘要： Linux shell 中(()) [] [[ ]] 的使用 阅读全文

摘要： 知识点 在linux中，有三个常用的IO设备 0：代表stdin标准输入。类似Java中的System.in.scan().接收用户在键盘的信息，传递给标注输入设备 1：代表stdout标准输出。类似Java中的System.out.print()，将信息输出到标准输出设备！ 2：代表stderr标 阅读全文

摘要： org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes 阅读全文

摘要： 这里拿虚拟机来举例 1、在虚拟机设置里添加一块硬盘 2、查看磁盘挂载情况 lsblk 或者 lsblk -f 可以看到现在sdb这块硬盘是没挂载的，接下来就进行挂载操作 3、对硬盘进行分区 输入分区命令，然后根据提示一步一步往下操作， fdisk /dev/sdb 最后输入w 保存并退出 此时再次查 阅读全文

摘要： 一、HDFS hdfs-site.xml <!-- NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数--> <property> <name>dfs.namenode.handler.count 阅读全文

摘要： log back 是log4j的豪华升级版，项目中一般使用Log Back 作日志打印 一、组件介绍 Logger: 日志记录器，在Logger上可以定义日志记录的级别，类型等！ Appender: 日志追加器，只要定义日志输出的目的地，输出到控制台还是到文件还是到其他的进程等！ 通常必须传入nam 阅读全文

摘要： Sqoop 使用shell命令的各种参数的配置及使用方法 阅读全文

摘要： Kafka 数据重复 和数据丢失的情况及解决 阅读全文

摘要： 利用Phoenix映射Hbase表来进行操作 阅读全文

摘要： Hbase 表与Hive 表的映射 阅读全文

摘要： 因为hive 跟hbase俩个版本不兼容，所以需要重新编译一下hive源码包中的hive-hbase-handler-1.2.2.jar 这里利用eclipse来操作，因为idea操作起来有点麻烦。。。 1、将需要编译的源码包导入到新建好的Java工程中 直接复制到工程中 2、添加环境包 3、打ja 阅读全文

摘要： Hbase 优化参数 阅读全文

摘要： 在工作中常常会碰到利用MR来对HBase来操作的情况，这里举几个经典使用场景来说明 环境准备： <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> 阅读全文

摘要： Hbase 操作表时，连接超时，或者找不到对应的region Server的解决办法 阅读全文