摘要: 作用 [ -n 参数 ] 可以用来判断该参数是否已被赋值 特殊案例 !#/bin/bash #false #判断的是a这个参数,因为没赋值,所以返回flase if [ -n "$a" ] then echo true else echo false fi #true #判断的是“-n $a”这个字 阅读全文
posted @ 2020-03-31 19:42 可以看看你胖次吗 阅读(25143) 评论(4) 推荐(0) 编辑
摘要: Linux shell 中(()) [] [[ ]] 的使用 阅读全文
posted @ 2020-03-29 14:11 可以看看你胖次吗 阅读(971) 评论(0) 推荐(0) 编辑
摘要: 知识点 在linux中,有三个常用的IO设备 0:代表stdin标准输入。类似Java中的System.in.scan().接收用户在键盘的信息,传递给标注输入设备 1:代表stdout标准输出。类似Java中的System.out.print(),将信息输出到标准输出设备! 2:代表stderr标 阅读全文
posted @ 2020-03-27 21:40 可以看看你胖次吗 阅读(1188) 评论(0) 推荐(0) 编辑
摘要: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes 阅读全文
posted @ 2020-03-27 20:01 可以看看你胖次吗 阅读(1239) 评论(0) 推荐(0) 编辑
摘要: 这里拿虚拟机来举例 1、在虚拟机设置里添加一块硬盘 2、查看磁盘挂载情况 lsblk 或者 lsblk -f 可以看到现在sdb这块硬盘是没挂载的,接下来就进行挂载操作 3、对硬盘进行分区 输入分区命令,然后根据提示一步一步往下操作, fdisk /dev/sdb 最后输入w 保存并退出 此时再次查 阅读全文
posted @ 2020-03-27 19:06 可以看看你胖次吗 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS hdfs-site.xml <!-- NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数--> <property> <name>dfs.namenode.handler.count 阅读全文
posted @ 2020-03-26 21:25 可以看看你胖次吗 阅读(273) 评论(0) 推荐(0) 编辑
摘要: log back 是log4j的豪华升级版,项目中一般使用Log Back 作日志打印 一、组件介绍 Logger: 日志记录器,在Logger上可以定义日志记录的级别,类型等! Appender: 日志追加器,只要定义日志输出的目的地,输出到控制台还是到文件还是到其他的进程等! 通常必须传入nam 阅读全文
posted @ 2020-03-26 11:04 可以看看你胖次吗 阅读(189) 评论(0) 推荐(0) 编辑
摘要: Sqoop 使用shell命令的各种参数的配置及使用方法 阅读全文
posted @ 2020-03-24 23:19 可以看看你胖次吗 阅读(1631) 评论(0) 推荐(0) 编辑
摘要: Kafka 数据重复 和数据丢失的情况及解决 阅读全文
posted @ 2020-03-24 21:10 可以看看你胖次吗 阅读(5645) 评论(0) 推荐(0) 编辑
摘要: 利用Phoenix映射Hbase表来进行操作 阅读全文
posted @ 2020-03-23 22:57 可以看看你胖次吗 阅读(1552) 评论(0) 推荐(1) 编辑
摘要: Hbase 表与Hive 表的映射 阅读全文
posted @ 2020-03-23 19:37 可以看看你胖次吗 阅读(3888) 评论(2) 推荐(0) 编辑
摘要: 因为hive 跟hbase俩个版本不兼容,所以需要重新编译一下hive源码包中的hive-hbase-handler-1.2.2.jar 这里利用eclipse来操作,因为idea操作起来有点麻烦。。。 1、将需要编译的源码包导入到新建好的Java工程中 直接复制到工程中 2、添加环境包 3、打ja 阅读全文
posted @ 2020-03-23 15:12 可以看看你胖次吗 阅读(1639) 评论(0) 推荐(0) 编辑
摘要: Hbase 优化参数 阅读全文
posted @ 2020-03-22 15:01 可以看看你胖次吗 阅读(428) 评论(0) 推荐(0) 编辑
摘要: 在工作中常常会碰到利用MR来对HBase来操作的情况,这里举几个经典使用场景来说明 环境准备: <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> 阅读全文
posted @ 2020-03-22 11:03 可以看看你胖次吗 阅读(198) 评论(0) 推荐(0) 编辑
摘要: Hbase 操作表时,连接超时,或者找不到对应的region Server的解决办法 阅读全文
posted @ 2020-03-21 20:04 可以看看你胖次吗 阅读(1283) 评论(0) 推荐(0) 编辑
Live2D