菜霸 - 博客园

[置顶] maven实现compile时将资源目录输出到target中

摘要：由于现在项目采用的是 jboot 框架，升级最新版本2.1.5后，需要将原来的webroot资源改到 src/main/webapp目录下，发现转移后，通过框架的app.java入口main函数无法将新增过来的webapp资源更新到target/classes下面，所以用下面maven配置文件阅读全文

posted @ 2019-08-02 11:39 菜霸阅读(3229) 评论(0) 推荐(0) 编辑

[置顶] 解决idea spring boot项目中target中没有同步更新最新目录文件及资源

摘要： idea不像eclipse那样自动将新保存的文件或目录及其他资源更新到target目录中，必须在pom.xml中设置这样maven clean 就可以了！阅读全文

posted @ 2018-03-26 16:18 菜霸阅读(33489) 评论(2) 推荐(7) 编辑

2023年6月25日

香肠派对PC科技软件

摘要： 2024年12月7日依然可用宙斯科技软件地址： https://www.yuque.com/zsff/ft4973/sq812r5dtqi8t30b 软件可以下载进行体验！！！联系QQ: 2605803764 软件采用c++编程技术，用websocket和asm汇编引擎，纯自研牛逼就完了。阅读全文

posted @ 2023-06-25 18:24 菜霸阅读(8051) 评论(0) 推荐(0) 编辑

2023年3月22日

重要 - extern 用法，全局变量与头文件（重复定义）

摘要：用#include可以包含其他头文件中变量、函数的声明，为什么还要extern关键字,如果我想引用一个全局变量或函数a，我只要直接在源文件中包含#include<xxx.h> (xxx.h包含了a的声明)不就可以了么，为什么还要用extern呢？？这个问题一直也是似是而非的困扰着我许多年了，今天上网阅读全文

posted @ 2023-03-22 16:10 菜霸阅读(262) 评论(0) 推荐(0) 编辑

2022年1月27日

Spark on Yarn出现hadoop.compression.lzo.LzoCodec not found问题发现及解决

摘要：问题描述： spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37 Exception in thread "main" java.lang.RuntimeException: Error in conf 阅读全文

posted @ 2022-01-27 14:09 菜霸阅读(301) 评论(0) 推荐(0) 编辑

Hive udf 或者 spark maven打包问题

摘要：正常打包maven pom配置如下 <properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> <hive.version>1.2.1</hive.version> </properties> <dep 阅读全文

posted @ 2022-01-27 14:04 菜霸阅读(405) 评论(0) 推荐(0) 编辑

2021年11月10日

java 读取xlsx文件

摘要： public class ReadExcel { public static void main(String[] args) { Workbook wb = null; Sheet sheet = null; Row row = null; String filePath = "C:\\Users 阅读全文

posted @ 2021-11-10 19:43 菜霸阅读(3174) 评论(0) 推荐(0) 编辑

2021年10月18日

ssh执行命令或者脚本里最好先加上 source /etc/profile

摘要：记：写一次shell脚本,发现总提示找不到JAVA_HOME .明明已经配了环境变量，并且java -version也已经能输出信息，但就是提示。后来在脚本中加入第一句代码 source /etc/profile 就可以了。 #! /bin/bash case $1 in "start"){ 阅读全文

posted @ 2021-10-18 13:00 菜霸阅读(664) 评论(0) 推荐(1) 编辑

2021年9月2日

spring项目获取ApplicationContext（能手动从Spring获取所需要的bean）

摘要：最流行的方法就是实现ApplicationContextAware接口 @Component public class SpringContextUtil implements ApplicationContextAware { private static ApplicationContext 阅读全文

posted @ 2021-09-02 15:28 菜霸阅读(584) 评论(0) 推荐(0) 编辑

2021年8月30日

java jdbc连接池

摘要： public class C3P0Util { //1. 在成员变量位置创建一个静态的ComboPooledDtatSource 对象 private static ComboPooledDataSource dataSource=new ComboPooledDataSource(); //2. 阅读全文

posted @ 2021-08-30 16:39 菜霸阅读(92) 评论(0) 推荐(0) 编辑

2021年6月23日

parquet和orc选型以及压缩格式

摘要： Hive表压缩功能除了直接配置MapReduce压缩功能外，Hive的ORC表和Parquet表直接支持表的压缩属性。但支持的压缩格式有限，ORC表支持None、Zlib、Snappy压缩，默认为ZLIB压缩。但这3种压缩格式不支持切分，所以适合单个文件不是特别大的场景。使用Zlib压缩率高，但阅读全文

posted @ 2021-06-23 17:06 菜霸阅读(1282) 评论(0) 推荐(0) 编辑

parquet列存储本身自带压缩配合snappy或者lzo等可以进行二次压缩

摘要：上传txt文件到hdfs，txt文件大小是74左右。这里提醒一下，是不是说parquet加lzo可以把数据压缩到这个地步，因为我的测试数据存在大量重复。所以下面使用parquet和lzo的压缩效果特别好。创建hive表，使用parquet格式存储数据不可以将txt数据直接加载到parquet的阅读全文

posted @ 2021-06-23 15:34 菜霸阅读(1928) 评论(0) 推荐(1) 编辑

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论