Kotlin

2022年8月26日

摘要：最近为了调试hive试了很多hive参数，对于hive任务优化，减少使用内存有一些自己的见解，在此做一个记录。一：mapreduce的基本流程及阶段可进行的优化操作（其实有很多不用设置有默认的设置，此处做面试，参考设置在下一节）附上网上的一张老图（虽然老但是很具有代表性，哈哈哈）上面的图知道阅读全文

posted @ 2022-08-26 18:58 Kotlin 阅读(367) 评论(0) 推荐(0) 编辑

sparksql 核心概念

摘要： Spark-sql概念补充基本概念 SparkSQL是基于RDD的，可以通过Schema信息来访问其中某个字段 RDD处理的不是结构化数据，所以不能进行类似HIve逻辑优化器的优化操作（条件传播） SparkSQL默认读取的类型都是 DataFrame Catalyst优化器 1.解析SQL，并解阅读全文

posted @ 2022-08-26 18:45 Kotlin 阅读(106) 评论(0) 推荐(0) 编辑

sparkcore 核心概念

摘要： Spark-core概念补充 Spark相对于hadoop的优势 1.减少IO(如非必要不落盘) 2.并行度(多线程) 3.中间结果持久化(多次使用) 4.shuffle方案(不排序) 5.内存管理(静态内存，动态内存，内存可配置) 概念 Master节点，协调资源，连接worker节点运行Exxc 阅读全文

posted @ 2022-08-26 17:33 Kotlin 阅读(67) 评论(0) 推荐(0) 编辑

sparkcore 函数大全

摘要：有了上面三篇的函数，平时开发应该问题不大了。这篇的主要目的是把所有的函数都过一遍，深入RDD的函数 RDD函数大全数据准备 val sparkconf = new SparkConf().setAppName("test_Spark_sql").setMaster("local[2]") val 阅读全文

posted @ 2022-08-26 17:14 Kotlin 阅读(57) 评论(0) 推荐(0) 编辑

2022年8月14日

hive 函数大全

摘要： show functions 查看了所有的方法把所有的方法记录下来，下次免得去翻别人的博客了数学函数数学常规函数函数简介用法 abs 绝对值 select abs(-13);13 negative 正数转负数,负数转正数 select negative(-4);4 select negativ 阅读全文

posted @ 2022-08-14 16:15 Kotlin 阅读(1721) 评论(0) 推荐(0) 编辑

2022年8月11日

hive源码（八）源码总结

摘要： hive源码观后总结整体流程 1.进入程序，利用Antlr框架定义的预发规则，对HQL完成语法解析，将HQL转换为AST（抽象语法树） 2.遍历AST，抽象出查询的基本构成单元QueryBlock（查询块），可以理解为最小查询执行单元 3.遍历QueryBlock，将它转换为OperatorTr 阅读全文

posted @ 2022-08-11 16:03 Kotlin 阅读(247) 评论(0) 推荐(0) 编辑

hive源码（七）物理执行计划提交执行

摘要： hive源码（七）物理执行计划提交执行上面所有的方法执行完成就退出了，往后继续执行org.apache.hadoop.hive.ql.Driver runInternal 方法里面有一个 execute()这个方法就是把物理执行计划提交执行的入口 execute()方法 private void 阅读全文

posted @ 2022-08-11 10:33 Kotlin 阅读(225) 评论(0) 推荐(0) 编辑

2022年8月9日

hive源码（六）OperatorTree转换为物理执行计划，物理执行计划优化

摘要： OperatorTree转换为物理执行计划，物理执行计划优化代码入口 TaskCompiler compiler = TaskCompilerFactory.getCompiler(conf, pCtx); compiler.init(queryState, console, db); //代码入阅读全文

posted @ 2022-08-09 22:39 Kotlin 阅读(241) 评论(0) 推荐(0) 编辑

hive源码（五）OperatorTree优化

摘要： OperatorTree优化（逻辑执行计划优化）优化入口 Optimizer optm = new Optimizer(); optm.setPctx(pCtx); optm.initialize(conf); //优化器都会执行实现这个方法，通过这调用执行优化过程 //类 org.apache. 阅读全文

posted @ 2022-08-09 08:48 Kotlin 阅读(400) 评论(0) 推荐(0) 编辑

2022年8月3日

安装环境

摘要：最近使用云服务器的时候，总是需要安装环境，在此记录一些常用的命令常用命令查看系统版本：getconf LONG_BIT断开连接：vim /etc/ssh/sshd_configClientAliveInterval 60ClientAliveCountMax 600systemctl resta 阅读全文

posted @ 2022-08-03 22:15 Kotlin 阅读(98) 评论(0) 推荐(0) 编辑

公告