2023年10月7日
datax同步mysql至hdfs空值问题
摘要： datax中没有提供给用户自定义null值到hdfs文件的存储格式，hdfs writer会将null值存储为空字符串('') 而hive默认存储格式为\N,后期将DataX同步的文件导入Hive表就会出现问题 解决方法： 1.修改源码（推荐）：参考http://t.csdnimg.cn/BWGRK 阅读全文
posted @ 2023-10-07 14:54 sunshin1 阅读(235) 评论(0) 推荐(0) 编辑
Maxwell问题解决
摘要： 问题描述： 我在构建一个新的数仓时使用maxwell,发现maxwell启动一会儿就挂了，或者是根本启动不了 查看日志说是没有我监控的数据库（Couldn't find database xxxx），但检查发现目标数据库在mysql中存在，核对大小写问题，无误 解决： 思路：想到这个maxwell是 阅读全文
posted @ 2023-10-07 00:17 sunshin1 阅读(252) 评论(0) 推荐(0) 编辑
2023年10月3日
Spark算子实现wordCount的十种方法
摘要： //groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " 阅读全文
posted @ 2023-10-03 00:28 sunshin1 阅读(72) 评论(0) 推荐(0) 编辑
2023年9月24日
JDBC进化
摘要： var code = "0c352920-80ec-468b-9148-348320a4a921" 明确jdbc的大概流程 注册驱动创建连接写sql创建statement(分不同statement是否赋值还是直接写进去)处理获取结果关闭资源 注册驱动 大致有两种方法 DriverManager.re 阅读全文
posted @ 2023-09-24 22:59 sunshin1 阅读(6) 评论(0) 推荐(0) 编辑
2023年9月21日
hbase API
摘要： 导入依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.4.11</version> <exclusions> <exc 阅读全文
posted @ 2023-09-21 14:52 sunshin1 阅读(21) 评论(0) 推荐(0) 编辑
2023年9月20日
shell
摘要： 删除变量:unset 变量名 定义只读变量:readonly 变量名 定义全局变量:GLOBAL_变量名 函数 read read -t 等待时间 "提示语" 赋予给的变量名 如果没有-t会一直等下去 basename basename [string /pathname][suffix] base 阅读全文
posted @ 2023-09-20 20:23 sunshin1 阅读(45) 评论(0) 推荐(0) 编辑
hbase搭建及指令
摘要： 本hbase搭建前提已经搭建好hadoop和zookeeper,如果没有搭建好可以看我主页相应搭建或配置文章 环境变量 sudo vim /etc/profile.d/my_env.sh #HBASE_HOME export HBASE_HOME=/opt/module/hbase export P 阅读全文
posted @ 2023-09-20 13:38 sunshin1 阅读(20) 评论(0) 推荐(0) 编辑
2023年9月18日
spark
摘要： SparkConf `SparkConf` 是 Apache Spark 中的一个类，用于配置和设置 Spark 应用程序的配置选项。通过 `SparkConf`，你可以指定各种参数，以控制 Spark 应用程序的行为，如集群连接信息、应用程序名称、执行模式、内存分配等。 import org.ap 阅读全文
posted @ 2023-09-18 22:59 sunshin1 阅读(15) 评论(0) 推荐(0) 编辑
Maven的记录点
摘要： 在Apache Maven中，`groupId`、`artifactId`以及一些其他参数是用于定义和配置项目的元数据，以便Maven可以管理项目的构建、依赖和部署等方面的工作。以下是这些参数的解释： 1. `groupId`（组标识符）：`groupId`是项目的唯一标识符，通常采用逆序的Java 阅读全文
posted @ 2023-09-18 16:31 sunshin1 阅读(10) 评论(0) 推荐(0) 编辑
log4j.properties
摘要： `log4j.properties` 是一个配置文件，用于配置和控制 Java 应用程序中使用的 Apache Log4j 日志框架的行为。Log4j 是一个用于生成日志信息的 Java 应用程序库，它允许你在应用程序中记录各种事件和信息，以便在开发、测试和生产环境中进行日志记录和监视。 `log4 阅读全文
posted @ 2023-09-18 12:47 sunshin1 阅读(25) 评论(0) 推荐(0) 编辑
下一页
点击右上角即可分享
微信分享提示