大数据技术与数仓

摘要： 1.配置 conf/flink-conf.yaml (1)env.java.home key: 配置jdk安装路径 (2)jobmanager.rpc.address: Master节点的地址 (3)jobmanager.heap.... 阅读全文

摘要： 前置： YARN客户端需要访问Hadoop的配置文件，从而能够连接到YARN资源管理器和HDFS。主要使用以下方式确定Hadoop的配置文件： 测试是否按顺序配置了YARN_CONF_DIR，HADOOP_CONF_DIR或... 阅读全文

摘要： 1.正则表达式中的特殊字符 2.预定义字符 3.方括号表达式 4.边界匹配符 5.数量表示符 正则表达式的数量标识符有如下几种模式 （1）Greedy(贪婪模式)：数量表示符默认采用贪婪模式，除非另有表示。贪婪模式的表达式会一直匹配下去，直到无法匹配为... 阅读全文

摘要： 一、排序的分类 1.1内部排序：排序数据量较小，可以完全在内存中进行排序。 冒泡排序法、选择排序法、插入排序法、合并排序法、快速排序法、堆积排序法、希尔排序法、基数排序法。 1.2外部排序：排序的数据量无法直接在内存中进行排序，需使用辅助存储器（硬盘） 直接... 阅读全文

摘要： 转自：http://blog.csdn.net/column/details/datastructureinjava 一、数据结构详解 （1）数据结构与算法概念解析 （2）数据结构之数组 （3）数据结构之栈 （4）数据结构之队列 （5）数据结构之链表 （6）数... 阅读全文

摘要： 一、MYSQL索引的分类 索引用于快速查找具有特定列值的行。如果没有索引，MySQL必须从第一行开始，然后读取整个表以查找相关行。表越大，成本越高。如果表中有相关​​列的索引，MySQL可以快速确定要在数据文件中间寻找的位置，而无需查看所有数据。这比按顺序读取... 阅读全文

摘要： 1.问题描述 一张成绩表class有如下字段，班级ID，英语成绩，数学成绩，语文成绩 id english math chinese classid ... 阅读全文

摘要： 1.数据准备 hadoop hadoop hadoop spark spark spark hive impala 2.创建表 create table wordcount(rowdata string); 3.加载数据 load data local inp... 阅读全文

摘要： 一、简介 当使用静态分区时，在向分区表中插入数据时，我们需要指定具体分区列的值。此外，hive还支持动态提供分区值（即在插入数据时，不指定具体的分区列值，而是仅仅指定分区字段）。动态分区在默认情况下是禁用的(在hive2.3.4版本中默认是开启的，在hive-... 阅读全文

摘要： 目录 一、简介 二、使用Thrift JDBC/ODBC server 2.1概述 2.2使用案例 三、使用Spark SQL cli 一、简介 Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在此模式下，终端用户或应... 阅读全文