Mysql中索引key 、primary key 、unique key 与index区别
摘要：Mysql中索引key 、primary key 、unique key 与index区别
阅读全文
posted @ 2022-04-28 19:10
04 2022 档案
Kylin 安装启动时报：Please make sure the user has the privilege to run hbase shell
摘要：参考：https://blog.csdn.net/Luomingkui1109/article/details/86539423
阅读全文
posted @ 2022-04-26 17:14
Sqoop报错：Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xF0\xA4\x8F\x81'
摘要：sqoop从hive导出到mysql报错如下： Caused by: java.sql.SQLException: Incorrect string value: '\xF0\xA4\x8F\x81' for column 'role_name' at row 68 at com.mysql.jdb
阅读全文
posted @ 2022-04-22 16:50
java中getClass()方法详解
摘要：Class也是个对象，实例对象也是对象。他们是不同的东西。不是站在不同角度描述的同一种东西。 需要理解java的本质。这篇文章和天圆地方说一样，只是自圆其说的解决了你当前的疑惑，但你只能局部角落里，但你永远不会知道从一个点出发可以回到原点。 当你有能力参与到OpenJDK贡献中之后，你才会发现原来地
阅读全文
posted @ 2022-04-21 20:01
Flink Checkpoint 原理流程以及常见失败原因分析
摘要：Flink Checkpoint 原理流程以及常见失败原因分析
阅读全文
posted @ 2022-04-21 19:26
五：数 组
摘要：文章目录 01、 数组的概述 /* * 一、数组的概述 * 1.数组的理解：数组(Array)，是多个相同类型数据按一定顺序排列的集合， * 并使用一个名字命名，并通过编号的方式对这些数据进行统一管理。 * * 2.数组的相关概念： * >数组名 * >元素 * >角标、下标、索引 * >数组的长度
阅读全文
posted @ 2022-04-19 23:35
Sqoop --m(--num-mappers）参数使用及优化 及Bug
摘要：估计是split的字段不是数值类型，可能是string类型，造成如下bug 在使用SQOOP从mysql导入hive表数据时，当想要字段排序order by，此时每个map都会在oder by或者DISTRIBUTE BY命令下执行，这样就会导致每个mapreduce都会执行一遍sqoop导入，进而
阅读全文
posted @ 2022-04-12 18:55
流程控制
摘要：流程控制 循环流程控制: 什么是循环? 某一个代码段需要被重复执行，并且多次执行之间没有任何区别，或者是遵循一定的规律的。 循环三要素？ 循环的起点: 一般情况下，用来声明循环控制变量 循环的条件: 是一个boolean变量，或者一个boolean结果的表达式循环的步长: 一般情况下，是对循环控制变
阅读全文
posted @ 2022-04-11 00:33
数据类型及运算符
摘要：Java 第二天1. 内容回顾1. 编程基础--进制、进制转换、原码、反码、补码2. JDK的安装与环境变量的配置3. Eclipse的简单使用4. 数据类型5. 标识符6. 变量、常量2. char类型char是一个字符型，字符是组成一个文本的最小单元最重要的一点: 一个字符是如何进行存储的。由于
阅读全文
posted @ 2022-04-11 00:29
JAVA语法基础
摘要：JAVA语法基础计算机理论基础编程: 通过编写程序，让计算机帮助实现我们想要的功能。编译器: 可以将我们写的代码编译成机器可以识别的，可以执行的二进制文件。高级语言: 语法比较简单，更容易学习进制进制: 就是进位制分类：二进制: 用数字 0 和 1 来表示每一个自然数，逢2进1位0, 1, 10,
阅读全文
posted @ 2022-04-11 00:28
mysql分库分表数据导入hive的sqoop-shell脚本
摘要：sqoop常规导入脚本： #!/bin/bash #coding=UTF-8 sqoop=/data/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/bin/sqoop $sqoop import \ -Dhadoop.security.credential
阅读全文
posted @ 2022-04-07 17:58
Java项目读取resources资源文件和Java读取本地文件项目部署问题解决
摘要：今天在Java程序中读取resources资源下的文件，由于对Java结构了解不透彻，遇到很多坑。正常在Java工程中读取某路径下的文件时，可以采用绝对路径和相对路径，绝对路径没什么好说的，相对路径，即相对于当前类的路径。在本地工程和服务器中读取文件的方式有所不同，以下图配置文件为例： （1）本地读
阅读全文
posted @ 2022-04-07 16:35
java 中的几种异常解析
摘要：RuntimeException与其子类和错误(Error)不是必须要捕获或抛出。 Java异常Throwable分为两类：Error和Exception，Error类是错误，程序本身不能处理的。 Exception有分为两类：IOException(非运行时异常)和RuntimeException
阅读全文
posted @ 2022-04-06 11:07
flink 指定时间消费kafka
摘要：如果消费位置不准确了，或者checkpoint/savepoint损坏无法恢复，可以直接在Flink中方便指定消费者位置； 如下示例直接指定消费的时间戳即可。（Flink Sql好像还不支持，需要单独写UDF实现） 参考： flink 根据时间消费kafka
阅读全文
posted @ 2022-04-01 15:51
awk去重统计
摘要：示例：TakeSample||e28ebbc2-238f-3f23-ae31-fd8122adecad|MuMu|6.0.1|wifi|||StartUp|com.oathgirls.gp|android 。。。。 取第三列设备并去重统计； grep "StartUp" | awk -F'|' '{
阅读全文
posted @ 2022-04-01 11:52
