摘要: 1.自然连接(natural join)自然连接将表中具有相同名称的列自动进行匹配,自然连接不必指定任何同等连接条件也不能认为指定哪些列需要被匹配,自然连接得到的结果表中,两表中名称相同的列只出现一次。select * from employee natural join department; 2 阅读全文
posted @ 2020-01-19 10:51 一颗小白菜灬 阅读(953) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/qq_39481696/article/details/82597912 hbase 入门https://blog.csdn.net/guolindonggld/article/details/82767620 package org.bathkafka. 阅读全文
posted @ 2020-01-19 10:48 一颗小白菜灬 阅读(800) 评论(0) 推荐(0) 编辑
摘要: public class SparkSqlBathLog { public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setMaster("local[2]").setAppName("jsonf 阅读全文
posted @ 2020-01-19 10:46 一颗小白菜灬 阅读(2479) 评论(0) 推荐(0) 编辑
摘要: 1、打印文件的第一列(域) : awk '{print $1}' filename 2、打印文件的前两列(域) : awk '{print $1,$2}' filename 3、打印完第一列,然后打印第二列 : awk '{print $1 $2}' filename 4、打印文本文件的总行数 : 阅读全文
posted @ 2020-01-19 10:44 一颗小白菜灬 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 1. CDH简介 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 2.cloudera manager的功能 1) 管理:对集群 阅读全文
posted @ 2020-01-19 10:41 一颗小白菜灬 阅读(996) 评论(0) 推荐(0) 编辑
摘要: DataFrame df = ...StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false)); 使用RDD的zipWithIndex得到索引,作为ID值:Java 阅读全文
posted @ 2019-09-03 18:10 一颗小白菜灬 阅读(1283) 评论(0) 推荐(0) 编辑
摘要: Hive四大表类型内部表、外部表、分区表和桶表 一、概述 总体上Hive有四种表:外部表,内部表(管理表),分区表,桶表。分别对应不同的需求。下面主要讲解各种表的适用情形、创建和加载数据方法。 二、具体内容 1.内部表 创建内部表和加载数据 create table emp_inner( empno 阅读全文
posted @ 2019-09-03 18:00 一颗小白菜灬 阅读(1395) 评论(0) 推荐(0) 编辑
摘要: 非常重要的动态分区属性: hive.exec.dynamic.partition 是否启动动态分区。false(不开启) true(开启)默认是 false hive.exec.dynamic.partition.mode 打开动态分区后,动态分区的模式,有 strict和 nonstrict 两个 阅读全文
posted @ 2019-09-03 11:07 一颗小白菜灬 阅读(709) 评论(0) 推荐(0) 编辑
摘要: 因特殊业务场景,如大促、秒杀活动与突发热点事情等业务流量在短时间内剧增,形成巨大的流量毛刺,数据流入的速度远高于数据处理的速度,对流处理系统构成巨大的负载压力,如果不能正确处理,可能导致集群资源耗尽最终集群崩溃,因此有效的反压机制(backpressure)对保障流处理系统的稳定至关重要。 Stor 阅读全文
posted @ 2019-08-23 11:15 一颗小白菜灬 阅读(530) 评论(0) 推荐(0) 编辑
摘要: SparkConf sparkConf = new SparkConf()//此处使用一个链接切记使用一个链接否则汇报有多个sparkcontext错误 .setAppName("SparkConsumerRabbit") .setMaster("local[2]") .set("hive.meta 阅读全文
posted @ 2019-08-13 10:35 一颗小白菜灬 阅读(861) 评论(0) 推荐(0) 编辑