一叶知秋。

2020年12月20日

摘要：在建立maven项目时，遇到问题，只能对java代码的打包。此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。解决方法：在maven文件中，加入scala的打包配置。阅读全文

posted @ 2020-12-20 17:21 一叶知秋。阅读(1133) 评论(0) 推荐(0) 编辑

Maven工程报错java.lang.NoSuchMethodError:

摘要：做项目的时候遇到了很多次这个问题 java.lang.NoSuchMethodError: 如下原因都是一样的就是依赖包冲突了！！之前的做法是不要乱添依赖但是这是治标不治本的后来借鉴了网上那些去依赖的博客总结了一下分享一下自己的方法先简单的说一下包冲突是因为maven导入依赖包的时候阅读全文

posted @ 2020-12-20 17:19 一叶知秋。阅读(3325) 评论(0) 推荐(1) 编辑

jackson报错：com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6<dependency>

摘要： spark读取elasticsearch的时候，出错了，报错 com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6 Exception in thread "main" jav 阅读全文

posted @ 2020-12-20 17:11 一叶知秋。阅读(2318) 评论(0) 推荐(0) 编辑

Jackson-databind的安全漏洞

摘要：今天公司发出了修复jackson-databind的安全漏洞分析，让公司统一修复，以下是过程：一、基本描述在2.9.9之前的FasterXML jackson-databind 2.x中发现了一个问题。为外部公开的JSON端点启用默认键入（全局或特定属性）时，该服务在类路径中具有mysql-co 阅读全文

posted @ 2020-12-20 17:08 一叶知秋。阅读(2208) 评论(0) 推荐(0) 编辑

2020年12月18日

idea 使用maven 下载源码包

摘要：方式1：全量下载源码包方式二：下载单个源码包随便找个源码可以看到文件上有download (标识下载源码包) choose sources表示选择那个版本的源码包阅读全文

posted @ 2020-12-18 14:19 一叶知秋。阅读(1728) 评论(0) 推荐(0) 编辑

2020年12月16日

探究 Parquet 生成方式(impala,hive都可以查询)分区(二)

摘要： 1.可以先参考第一篇文章 https://www.cnblogs.com/luxj/p/14144972.html 2.分区的好处(例如按年月日生成表) 3.可以参考第一篇文章(先建表) 区别在于 PARTITIONED BY (year INT, month INT, day INT) creat 阅读全文

posted @ 2020-12-16 22:31 一叶知秋。阅读(453) 评论(0) 推荐(0) 编辑

java写parquet文件

摘要： https://blog.csdn.net/u012995897/article/details/76623739 打开ParquetWriter或者ParquetReader发现大部分构造方法都是过时的（@Deprecated），经过仔细的百度，和读源码，才发现原来创建ParquetWriter对阅读全文

posted @ 2020-12-16 19:54 一叶知秋。阅读(2382) 评论(0) 推荐(0) 编辑

探究 Parquet 生成方式(impala,hive都可以查询)(一)

摘要： https://my.oschina.net/skyim/blog/479159 1. Parquet 的优点我就不说拉（列存储和良好的压缩）,列存储可以参考如下链接2.主要是项目中用到的存储3.第一步,首先在hive中创建一张表,操作表语句如下 create external table parq 阅读全文

posted @ 2020-12-16 17:11 一叶知秋。阅读(754) 评论(0) 推荐(0) 编辑

2020年12月15日

mysql 8.0.14 安装配置方法图文教程(通用)

摘要： https://www.jb51.net/article/156489.htm 修改mysql 命令：alter user 'root'@localhost IDENTIFIED WITH mysql_native_password BY '密码'; 阅读全文

posted @ 2020-12-15 22:04 一叶知秋。阅读(199) 评论(0) 推荐(0) 编辑

2020年12月10日

Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决

摘要： https://blog.csdn.net/sparkexpert/article/details/52871000 随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。然而，在其中一个操作时却卡住了。主要是datafra 阅读全文

posted @ 2020-12-10 15:50 一叶知秋。阅读(309) 评论(0) 推荐(0) 编辑

公告