随笔分类 - java
摘要：创建maven工程，pom.xml中引入连接k8s的客户端jar包： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <fab
阅读全文
摘要：1.编译过程 参考：https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/ 2.问题记录 CDH6.3.2 Hadoop源码位置发生变化，新地址为https://github.com/cloudera/hadoop-commo.old
阅读全文
摘要：过程中存在问题： maven编译scala工程报错java.lang.NoClassDefFoundError: scala/reflect/internal/Trees，解决方案看maven编译 1.新建Maven工程sparkdemo-2.3.3 过程略 2.配置pom.xml <?xml ve
阅读全文
摘要：Hadoop3 No FileSystem for scheme "hdfs" 异常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs" at org.apache.hadoo
阅读全文
摘要：Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to do real works. Kerberos 5 con
阅读全文
摘要：问题复现： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for you
阅读全文
摘要：在某些情况下，maven无法下载依赖的jar，或者依赖的m2会非常的大，上G那是随随便便的事。为了方便修改和编译，在打出的war包基础上，或者直接把tomcat的webapps下的项目拿出来，就可以用WEB-INF/lib下面的jar包，这样就可以直接引用了。但是，这些jar包如何与maven工程结
阅读全文
摘要：Java连接Hive的方式就是通过JDBC的方式来连接，URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等，这种方式是直接连接HiveServer2服务的，但是在现实中，还有一种以Zookeeper的方式去连接，例如： 那么，这种方式的原理是
阅读全文
摘要：Cloudera-JDBC-Driver-for-Apache-Hive-Install-Guide.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for-A
阅读全文
摘要：最近一段时间，处理过一个问题，那就是hive jdbc的连接问题，其实也不是大问题，就是url写的不对，导致无法连接。问题在于HiveServer2增加了别的安全验证，导致正常的情况下，传递的参数无法使用，hive连接返回用户为空的错误，具体错误不再详谈，今天就说说jdbc的url书写问题。 正常情
阅读全文
摘要：Cloudera-JDBC-Driver-for-Impala-Install-Guide-2-5-5.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for-
阅读全文
摘要：前段时间，有一个项目在连接Impala的时候，可以测试连接成功，但是查询不出表。但是通过impala-shell的时候，是可以查询出来的，我觉的这种方式查询出来的话，可能和jdbc的方式不一样，因为impala-shell连接的端口是21000，jdbc连接的端口是21050。我通过beeline的
阅读全文
摘要：在集成Swagger之前，得先说说什么是Swagger，它是用来做什么的，然后再讲讲怎么集成，怎么使用，当然，在这之前，需要了解一下OpenAPI。 OpenAPI OpenAPI 3.0规范定义了一个标准的、语言无关的RESTful APIs，它可以被人和机器所理解和使用，而不需要查找其源码、说明
阅读全文
摘要：需求：根据设置变量，来加载某个spring的bean的配置文件，这个配置文件中，有某些使用的bean。在一些情况下，不希望这些bean被初始化和加载进context中，也不需要被外面访问到。 在spring中，我们通过placeholder类可以读取配置文件，里面可以设置参数，而在配置文件或容器中使
阅读全文
摘要：正常情况下，我们需要添加一个过滤器，需要实现javax.servlet.Filter接口，再在web.xml中配置filter，如下： 此时，web.xml中增加的配置： 那么，我们为什么要使用Spring的org.springframework.web.filter.DelegatingFilte
阅读全文
摘要：中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： 设置krb5.conf和core-site.xml、
阅读全文
摘要：在完成模块开发后，需要发布jar到nexus上，与此同时，则要部署开发的模块，需要将编译打包的jar复制到指定的路径，再进行部署，而不是手动的去复制那些jar，因为当模块多的话，则会感到特别的烦，所以，利用maven集成的ant来进行这些操作。pom.xml文件配置如下： 其中，plugin的art
阅读全文
摘要：最近在看maven的打包及管理，然後就看到nexus，自己在安裝的時候就下載了最新版的nexus-3.2.0-01-win64，按照文档部署后启动，浏览。之前一致使用的是2.0的，所以还是需要导出点点，熟悉一下功能。 熟悉2.0的都知道，那是可以上传自己的jar到库中，方便引用，但是3.0中，没有操
阅读全文
摘要：在java中处理字符时，经常会发生乱码，而主要出现的地方在读取文本文件时发生，或者是写入到文件中，在其他地方打开乱码。 如下例子： 上述代码则是读取一个文本文件，此方式读取文本文件可能会发生乱码问题。 当文本文件的编码与当前JVM的编码一致时，就会发生乱码。 查看JVM的编码信息，使用工具查看jvi
阅读全文
