摘要：
最近有一个需求，要求使用httpfs读取数据，一开始看到httpfs这个词，第一感觉是不是多了个f，是不是https，后来百度一下，其实不然。 httpfs其实是使用http协议访问hdfs文件系统： HttpFS是一台提供REST HTTP网关的服务器，该网关支持所有HDFS文件系统操作（读取和写 阅读全文
摘要：
1.读取hbase快照数据时报UnsatisfiedLinkError: no gplcompression in java.library.path错： 在使用java 命令执行时可加上 -Djava.library.path=/opt/hadoop/lib/native，就没有此报错 2.解决完 阅读全文
摘要：
1.在idea中选择Edit Configurations，添加Remote远程连接，如下图： 设置名称为：workerDebug，Host：为远程要连接的服务器地址，Port：为debug时的端口号 在idea中配置完远程连接后，复制：-agentlib:jdwp=transport=dt_soc 阅读全文
摘要：
在调试代码时出现Error:java: Compilation failed: internal java compiler error异常 是由于java版本不一致引起的 解决问题就很简单了，把Java版本调成一致就可以了 阅读全文
摘要：
根据快照名称读取hbase快照中的数据，在网上查了好多资料，很少有资料能够给出清晰的方案，根据自己的摸索终于实现，现将代码贴出，希望能给大家有所帮助： 如果读取快照数据时，数据列簇使用的是lzo压缩的话，可能会遇到lzo解压缩问题，可以参照：hbase读取快照数据-lzo压缩遇到的问题 阅读全文
摘要：
当我们需要测试某个功能时，需要在linux环境下执行某个类的main方法来测试 可以使用java -cp xxx.jar com.MyClass来执行某个类 其中com.Test为test.jar中的某个类，lib/*为test.jar依赖的jar包， -cp 和 -classpath 一样，是指定 阅读全文
摘要：
Hadoop3.1.2 + Hbase2.2.0 设置lzo压缩算法： 写在前面，在配置hbase使用lzo算法时，在网上搜了很多文章，一般都是比较老的文章，一是版本低，二是一般都是使用hadoop-gpl-compression，hadoop-gpl-compression是一个比较老的依赖包，现 阅读全文
摘要：
1.启动hbase后，在hbase shell中执行 status和create时报错 2019-09-02 09:43:21,534 WARN [master/s128:16000:becomeActiveMaster] master.HMaster: hbase:meta,,1.15882307 阅读全文
摘要：
Hadoop HA 搭建hbase启动时只有HMaster起来，HRegionServer没有起来 查看报错信息为： 由于无法找到mycluster 解决方法： 将hadoop/etc/中的 core-site.xml和hdfs-site.xml 复制到hbase的conf目录下，启动hbase就好 阅读全文
摘要：
通过 http://s128:16010 无法访问Hbase Web端 查看master日志，有报错： 解决方法： 在hbase-site.xml中添加如下配置： 阅读全文
摘要：
1.xrsync.sh脚本 需要安装rsync远程数据同步工具 其中i代表服务器部分尾号名称，服务器名称为s202,s203,s204等 使用时需要将xrsync.sh放到/usr/local/bin下，在任何目录中都可以使用 例：将hbase-2.2.0同步到其它机器的 /opt/ 目录下 阅读全文
摘要：
1.xcall.sh批量命令脚本： 其中i为服务器命名部分序号，服务器命名为s128,s129,s130,s131共4台机器 设置xcall.sh为可执行文件： 主要是根据ssh在不同的机器上执行其后面的命令 如： 在每台机器上执行 jps -l 命令 结果： 如果想在任何地方都能使用xcall.s 阅读全文
摘要：
1.配置虚拟机网络适配器，选择NAT模式 2.在编辑->虚拟机网络编辑器->更改设置 选择目前使用的网卡 3.通过ifconfig查看网卡配置 4.编辑网络配置对应上面网卡名称ens33 5.添加网络配置 6.配置/etc/resolv.conf 7.重启网卡 8.在windows中配置VMWare 阅读全文
摘要：
有一个需求功能：先按照某一字段分组，再按照另外字段获取最大的那个 先根据appId分组，然后根据versionSort排序取最大 阅读全文
摘要：
由于需要将源码打包做代码混淆，选择proguard，开始使用各种问题，各种jar包版本问题，但最终成功了，记录一下，也希望能够帮助大家 在pom中添加代码： 注意： -keep class 类/包.** 表示保留类名 -keepclassmembers class 类/包.**{ *;} 表示保留类 阅读全文