2020年8月19日
java 通过jdbc 连接hive2 使用kerberos 认证
摘要： hadoop version：3.1 private static Connection initConn(String hive_driverName, String krb5FilePath, String krb5KeyTabPath, String krbPrincipal, String 阅读全文
posted @ 2020-08-19 18:21 BigWrite 阅读(2086) 评论(0) 推荐(0) 编辑
jdk8 List 新特性
摘要： public class MainTest { @Test public void main() { int i = 0; IntStream.range(0, 10).forEach( rang -> System.out.printf("生成第%d个表sql：%s\n", rang, "qsda 阅读全文
posted @ 2020-08-19 18:16 BigWrite 阅读(277) 评论(0) 推荐(0) 编辑
多线程Thread join()
摘要： Thread 类join方法，保证子线程执行完成后，再执行父线程，在start 后执行join有效 public class MainTest { @Test public void test4() throws InterruptedException { Thread t1 = new Thre 阅读全文
posted @ 2020-08-19 18:14 BigWrite 阅读(175) 评论(0) 推荐(0) 编辑
2020年7月10日
docker 处理git 密码认证问题
摘要： 需求： docker中需要访问git服务，并将第三方提交到服务的文件同步到git中，需要在docker 容器中进行git push等相关操作，所以需要处理用户认证问题。现在docker容器每次重启都需要到 容器中进行git pull，然后输入用户名密码。 git有两种连接方式ssh 和http 认证 阅读全文
posted @ 2020-07-10 17:29 BigWrite 阅读(3269) 评论(0) 推荐(0) 编辑
2020年6月9日
获取指定路径下的所有指定类型的文件
摘要： /** * 返回传入路径下的所有.conf文件 * @param filePath * @return * @throws FileNotFoundException */public static ArrayList<File> getFilesEndWithConf(String filePat 阅读全文
posted @ 2020-06-09 17:48 BigWrite 阅读(445) 评论(0) 推荐(0) 编辑
2020年3月10日
JDBC获取 库元数据，表元数据，查看所有表，所有字段信息（包括主键）
摘要： //先获取jdbc连接 Connection connection = DriverManager.getConnection(JDBCUrl); //从conn中获取数据库的元数据 DatabaseMetaData databaseMetaData = connection.getMetaData 阅读全文
posted @ 2020-03-10 17:01 BigWrite 阅读(4238) 评论(0) 推荐(2) 编辑
int(M)理解
摘要： 当数据库设置字段类型为int时，M只在字段补零是有意义，M表示显示宽度 字段类型int，表示为，字段占4位，4*8=32字节，可以展示，2^8个无符号数， 当字段设置了属性：zerofill 填充零M有意义 比如：int(2) 当值为 1，11和111时，展示为：01，11,111， M不影响字段存 阅读全文
posted @ 2020-03-10 16:59 BigWrite 阅读(550) 评论(0) 推荐(0) 编辑
2020年2月19日
Parquet does not support date. See HIVE-6384
摘要： 在新建表的时候碰到了这个错误， 原因：parquet 存储格式不支持date类型字段，在hive1.2之后，已经修复了这个issue； 解决办法： ① 更换字段类型 如： timestamp ② 更换存储格式 如：orc 阅读全文
posted @ 2020-02-19 09:20 BigWrite 阅读(3295) 评论(0) 推荐(1) 编辑
2019年12月9日
idea 打jar包（包含第三方jar）
摘要： 项目依赖有第三方jar包， 方式一，idea打包 或者 file=>project structure =>Artifacts ＋ 选择你的main方法，jar处理选择单独输出，程序清单选择src， 你会看到，所有依赖jar包都单独处理了，和你的主程序在同一路径下，如果想把依赖jar包转到 lib下 阅读全文
posted @ 2019-12-09 18:02 BigWrite 阅读(6892) 评论(0) 推荐(0) 编辑
2019年10月12日
docker安装完成后，点击Docker Quickstart Terminal出现“Windows正在查找bash.exe”
摘要： 问题原因：因为之前安装过git，git路径和Docker Toolbox默认不一致， 解决办法：右键Docker Quickstart Terminal的快捷方式，选择属性 将对应的git--bash.exe路径，换成本地git安装的正确位置，点击确定即可 阅读全文
posted @ 2019-10-12 16:33 BigWrite 阅读(972) 评论(0) 推荐(0) 编辑