03 2024 档案

hive 插入(insert)数据报错 解决办法
摘要:异常信息:org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hiv 阅读全文

posted @ 2024-03-21 18:02 zhangyukun 阅读(2172) 评论(0) 推荐(0) 编辑

centos7安装hive
摘要:三种模式的区别 安装模式 matedata位置存放位置 matestore部署方式 内嵌模式 本地内嵌数据derby中 内嵌 本地模式 独立数据库中 内嵌 远程模式 独立数据库中 独立启动 hive依赖hadoop,安装hive之前需要确保hadoop集群正常启动 hadoop安装参考:centos 阅读全文

posted @ 2024-03-19 21:36 zhangyukun 阅读(189) 评论(0) 推荐(0) 编辑

hive用法总结
摘要:hive的三种安装模式 安装参考:https://www.cnblogs.com/cxygg/p/18084007 hive是一个映射工具 hive可以把sql翻译成分布式计算处理任务,hive能够把hdfs的文件映射成表 metedata metastore hiveserver2 beeline 阅读全文

posted @ 2024-03-18 14:36 zhangyukun 阅读(138) 评论(0) 推荐(0) 编辑

flinkSQL总结
摘要:进入sql客户端 ./sql-client.sh 查看有哪些设置 set; set;显示的设置不全 几种常见的设置 #默认: table,能设为 : tableau、changelog SET sql-client.execution.result-mode=tableau; # 执行环境 # 默认 阅读全文

posted @ 2024-03-13 21:32 zhangyukun 阅读(889) 评论(0) 推荐(0) 编辑

flink部署模式和运行模式
摘要:flink部署模式 部署模式:flink里面的 计算程序 运行的方式 session session模式一个flink集群可以跑多个计算任务,资源共享 session模式下集群是提前启动的,然后向flink集群提交job per-job(高版本已经不推荐了) per-job模式下,一个集群只跑一个计 阅读全文

posted @ 2024-03-12 15:44 zhangyukun 阅读(147) 评论(0) 推荐(0) 编辑

centos7安装flink(local,standallone,yarn)
摘要:目录local模式Standallone节点分布Flink on Yarn启动历史服务器启动历史服务器flink其他部署模式yarn模式下部署单作业模式flink和应用模式flink集群应用模式单作业模式:standallone模式下应用模式 下面flink部署模式默认是session模式,flin 阅读全文

posted @ 2024-03-11 21:33 zhangyukun 阅读(594) 评论(1) 推荐(0) 编辑

fink泛型参数问题和TypeHint TypeInformation Types区别
摘要:TypeHint,TypeInformation,Types 区别 TypeInformation是flink的类型定义,TypeHint是描述用于描述泛型参数的辅助类,Types 是一个封装了常用TypeInformation的工具类 描述问题 下面一段代码的有两个参数,第一个来自数据流元素,他的 阅读全文

posted @ 2024-03-08 16:07 zhangyukun 阅读(144) 评论(0) 推荐(0) 编辑

flink总结
摘要:目录基本概念介绍flink安装数据来源(source)一个简单的输入例子fink获取数据源的方式使用连接器定义的数据源需要导入jar包fromSource可以使用连接器定义的数据源DataGeneratorSource可以辅助生成测试数据数据输出(sink)一个简单的fink输出例子dataStre 阅读全文

posted @ 2024-03-07 19:41 zhangyukun 阅读(145) 评论(0) 推荐(0) 编辑

centos7安装netcat
摘要:如果yum install -y netcat 失败,可以用下面方式离线安装 安装依赖 yum install glibc* 下载解压netcat 下载不下来去页面下载:https://sourceforge.NET/projects/netcat/files/netcat/0.7.1/netcat 阅读全文

posted @ 2024-03-03 16:16 zhangyukun 阅读(847) 评论(0) 推荐(0) 编辑

hbase结构简介
摘要:Hbase结构图 hmaster负责给 regionserver分配region,region处理具体的数据存储和查找,zk是一个注册中心,hmaster通过zk 感知regionserver存活与否。客户端是通过zk取到hmater的位置,然后取到位于namespace下面的mate表里面的reg 阅读全文

posted @ 2024-03-01 15:26 zhangyukun 阅读(23) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示