09 2022 档案

摘要:1. DQL相关 2. DDL、DML、DCL相关 3.架构相关 3.1 MySQL的复制原理以及流程 主从复制:将主数据库中的DDL和DML操作通过二进制日志(BINLOG)传输到从数据库上,然后将这些日志重新执行。 主从复制的作用 主数据库出现问题,可以切换到从数据库。 可以进行数据库层面的读写 阅读全文
posted @ 2022-09-26 21:04 业余砖家 阅读(163) 评论(0) 推荐(0) 编辑
摘要:top命令介绍 相信每个运维人员都遇到过的事情就是服务器的负载突然飙升,碰到这种情况,大家第一反应一定是登到服务器上,先敲一个top命令看看load average吧。 在Linux操作系统中,top是使用最频繁,也是信息比较全的一个命令,它对于所有正在运行的进行和系统负荷提供不断更新的概览信息,包 阅读全文
posted @ 2022-09-24 11:47 业余砖家 阅读(975) 评论(0) 推荐(0) 编辑
摘要:使用Between And时需要注意的事项:(1)“between and”是包括边界值的,“not between”不包括边界值。(2)“between A and B” 和 “between B and A” 查询出的结果不一样。 阅读全文
posted @ 2022-09-24 11:27 业余砖家 阅读(3355) 评论(0) 推荐(0) 编辑
摘要:1. lateral view 简介 hive函数 lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。配合UDTF函数使用,一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 MA 阅读全文
posted @ 2022-09-21 14:11 业余砖家 阅读(898) 评论(0) 推荐(0) 编辑
摘要:Python 推导式是一种独特的数据处理方式,可以从一个数据序列构建另一个新的数据序列的结构体。 Python 支持各种数据结构的推导式: 列表(list)推导式 字典(dict)推导式 集合(set)推导式 元组(tuple)推导式 一、列表推导式 列表推导式格式为: [表达式 for 变量 in 阅读全文
posted @ 2022-09-21 10:36 业余砖家 阅读(66) 评论(0) 推荐(0) 编辑
摘要:背景 在写脚本程序的时候需要添加一些额外的参数来实现脚本的附加功能或者增强功能,通常的做法是通过sys.argv[i]直接来获取参数的值,但是这个比较局限,要求参数的输入一定要按照顺序。 fileName = sys.argv[1]; regName = sys.argv[2]; 如果在命令行输入的 阅读全文
posted @ 2022-09-20 14:37 业余砖家 阅读(232) 评论(0) 推荐(0) 编辑
摘要:1.压缩 (1)Hive支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEFLATE .gz 否 o 阅读全文
posted @ 2022-09-18 21:46 业余砖家 阅读(226) 评论(0) 推荐(0) 编辑
摘要:1.查询操作语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [C 阅读全文
posted @ 2022-09-13 22:09 业余砖家 阅读(346) 评论(0) 推荐(0) 编辑
摘要:1.Hive最基本操作 (1)启动hive bin/hive (2)查看数据库 hive> show databases; (3)打开默认数据库 hive> use default; (4)显示default数据库中的表 hive> show tables; (5)创建一张表 hive> creat 阅读全文
posted @ 2022-09-09 09:25 业余砖家 阅读(702) 评论(0) 推荐(0) 编辑
摘要:1.基本数据类型 Hive基本数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN bool 阅读全文
posted @ 2022-09-09 09:17 业余砖家 阅读(72) 评论(0) 推荐(0) 编辑
摘要:一、安装Hive3.1.2 备注:在安装Hive3.1.2之前,请首先安装Hadoop3.1.3。 1. 下载并解压Hive安装包 tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local cd /usr/local/ mv apache-hive 阅读全文
posted @ 2022-09-09 09:03 业余砖家 阅读(795) 评论(0) 推荐(0) 编辑
摘要:一、Hive基本概念 1.什么是Hive? hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载。可以存储、查询和分析存储在Hadoop中的大规模数据。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务 阅读全文
posted @ 2022-09-08 14:21 业余砖家 阅读(518) 评论(0) 推荐(0) 编辑
摘要:事实表 事实表,通常我们可以认为它就是数据表。 它是指,发生在现实世界中的各种事件所形成的数据,如: 商品购买(产生订单数据) 账户创建(创建账户数据) 退货行为(产生退货数据) 等等,一系列现实世界的操作,会反映在事实表中的记录之上。 维度表 维度表是事实表的补充。维度表的主键可以关联到事实表的外 阅读全文
posted @ 2022-09-07 10:36 业余砖家 阅读(2224) 评论(0) 推荐(0) 编辑
摘要:数据仓库的基本概念 数据仓库概念: 英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任 阅读全文
posted @ 2022-09-07 10:13 业余砖家 阅读(391) 评论(0) 推荐(0) 编辑
摘要:数据导入 ● 本地文件导入 -- 本地文件导入(local) LOAD DATA local INPATH '/home/hadoop/sourceA.txt' INTO TABLE testA PARTITION(create_time='2015-07-08'); ● HDFS文件导入 -- H 阅读全文
posted @ 2022-09-01 13:30 业余砖家 阅读(81) 评论(0) 推荐(0) 编辑
摘要:Hive概述 架构于Hadoop之上,可以将结构化的HDFS文件映射成一张表,并提供了类似于SQL语法的HQL查询功能。 核心本质:将HQL语句转换成MapReduce任务。 Hive的优缺点 优点 避免了开发人员去实现Map和Reduce的接口,大大降低了学习成本。 HQL语法类似于SQL语法,简 阅读全文
posted @ 2022-09-01 13:13 业余砖家 阅读(3186) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示