集君 - 博客园

2024年7月22日

摘要： Hudi与Spark结合 💡 本指南总结Hudi基于spark-shell、spark-submit(java案例)，使用spark datasource来演示Hudi的操作Hudi表的插入、更新、读取快照和增量数据等功能。 Hudi背景 Hudi（Hadoop Update Delete Inc 阅读全文

posted @ 2024-07-22 10:59 集君阅读(19) 评论(0) 推荐(0) 编辑

Hudi测试

摘要：实验环境 minio-8.0.10 http://192.168.137.100:32000/minio/bigdata/ spark-operator-1.1.26 spark-history-server 3.2.2 http://192.168.137.100:32627/ 测试案例案例hu 阅读全文

posted @ 2024-07-22 10:46 集君阅读(2) 评论(0) 推荐(0) 编辑

Spark 3.2使用体验

摘要： 👀 单机安装部署基于官网：spark-3.2.2-bin-hadoop3.2.tgz包测试机器：hyper-v test001 路径： /home/soft/spark-3.2.2-bin-hadoop3.2 修改spark-defaults.conf # Example: # spark.m 阅读全文

posted @ 2024-07-22 10:44 集君阅读(6) 评论(0) 推荐(0) 编辑

2024年7月15日

win11、wsl2 ubuntu 22.04下go开发

摘要：安装go 1.19.3 1.下载源码包、解压 tar zxvf go1.19.3.linux-amd64.tar.gz cp -r ./go /home/chq/soft 2.设置工作目录 mkdir /home/chq/go mkdir /home/chq/projects 3.配置变量 expo 阅读全文

posted @ 2024-07-15 11:41 集君阅读(9) 评论(0) 推荐(0) 编辑

2024年4月2日

ELK介绍与Spring Boot集成使用

摘要： ELK介绍与Spring Boot集成使用 Logstash Logstash 是一个具有实时管道功能的开源数据收集引擎。 Logstash 可以动态地统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和民主化您的所有数据，以实现各种高级下游分析和可视化用例。一般Logstash与Ela 阅读全文

posted @ 2024-04-02 11:39 集君阅读(111) 评论(0) 推荐(0) 编辑

2024年3月13日

Spring Boot 2.x中配置文件加载顺序分析

摘要：一般spring boot 2.x的配置有多种方式，如resources文件夹中可以定义bootstrap.yml(或bootstrap.properties)、application.yml(或application.properties)、配置中心(如nacos)，那么它们加载顺序是怎样的，如何阅读全文

posted @ 2024-03-13 14:53 集君阅读(103) 评论(0) 推荐(0) 编辑

2024年3月8日

AI大模型ChatGLM2-6B 第三篇 - ChatGLM2-6B部署

摘要： clone项目下载模型 https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b&mode=list 切换conda里面的py39环境 cd /home/chq/ChatGLM2-6B conda activate 阅读全文

posted @ 2024-03-08 17:14 集君阅读(29) 评论(0) 推荐(0) 编辑

AI大模型ChatGLM2-6B 第二篇 - conda使用

摘要：创建虚拟环境输入以下命令，创建名为py39 的虚拟环境，python版本为3.9 conda create --name py39 python=3.9 进入虚拟环境 source activate py39 之后，之后输入python，就可以查看到版本：添加python模块添加pythom 阅读全文

posted @ 2024-03-08 17:07 集君阅读(8) 评论(0) 推荐(0) 编辑

AI大模型ChatGLM2-6B 第一篇 - 基础环境搭建

摘要：硬件环境 cpu i5-13600k 内存 64G 显卡 rtx3090 软件环境 window 11 专业版 22H2 n卡驱动：526.47 wsl2 ubuntu 22.04 安装nvidia-cuda-toolkit 打开wsl2的ubuntu，安装nvidia驱动程序 sudo apt u 阅读全文

posted @ 2024-03-08 17:01 集君阅读(125) 评论(0) 推荐(0) 编辑

Spring boot常用命令总结

摘要： 1.打包jar包 mvn package clean -Dmaven.test.skip=true mvn package -Dmaven.test.skip=true 2.结束当前运行的程序 ps -aux | grep java kill -9 $(ps -ef|grep /usr/bin/ch 阅读全文

posted @ 2024-03-08 14:28 集君阅读(30) 评论(0) 推荐(0) 编辑

Loading

集君

公告