摘要:
1、分区与分桶的区别 2、hive建表demo create table test11(`id` string comment '唯一',`time` timestamp comment '时间')comment '测试表'partitioned by (dt string comment '分区' 阅读全文
摘要:
https://www.pianshen.com/article/34572045595/ ORC、Parquet都是列式存储 Orc (Optimized Row Columnar)是Hive 0.11版里引入的新的存储格式 每个Orc文件由1个或多个stripe组成,每个stripe一般为HDF 阅读全文
摘要:
https://blog.csdn.net/kisimple/article/details/89460031 https://blog.csdn.net/u013411339/article/details/113047283?utm_medium=distribute.pc_relevant.n 阅读全文
摘要:
-- 数仓 1、事实表有哪些?如何理解? 事务型事实表 周期型快照事实表 累积型快照事实表 1、hive 中有哪些文件存储格式,区别? textfile(默认) parquet(列式存储,以二进制方式存储) orc(列式存储,以二进制方式存储) -- ORC常用于Hive、Presto;Parque 阅读全文
摘要:
一、java 1、java有哪些classloader? 启动类加载器、扩展类加载器、应用程序类加载器(系统类加载器)、用户自定义类加载器 2、java对象引用有哪些? 强引用 软引用 弱引用 虚引用 3、AQS? AQS定义了一套多线程访问共享资源的同步器框架,维护一个共享资源状态volatile 阅读全文
摘要:
1、Producer优化 producer.properties compression.type:none默认发送不进行 压缩 ,推荐配置一种适合的压缩算法,可以大幅度的减缓网络压力和Broker 的存储压力。 2、Kafka内存调整( kafka-server-start.sh 默认内存 1个 阅读全文