摘要: https://gitee.com/click33/chatgpt mirror-station-summary 阅读全文
posted @ 2023-05-26 16:57 坤妹家萌萌哒萌新 阅读(491) 评论(0) 推荐(0) 编辑
摘要: 1 git配置个人用户信息 # 配置用户名 git config--global user.name wangjing # 配置用户邮箱 git config--global user.email xxxx@qq.com # 配置记住用户验证信息 git config--global credent 阅读全文
posted @ 2023-04-23 16:00 坤妹家萌萌哒萌新 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 本文基本涵盖了Hive日常使用的所有SQL,因为SQL太多,所以将SQL进行了如下分类: 一、DDL语句(数据定义语句): 对数据库的操作:包含创建、修改数据库 对数据表的操作:分为内部表及外部表,分区表和分桶表 二、DQL语句(数据查询语句): 单表查询、关联查询 hive函数:包含聚合函数,条件 阅读全文
posted @ 2022-08-05 22:26 坤妹家萌萌哒萌新 阅读(53) 评论(0) 推荐(0) 编辑
摘要: Hive自带的json解析函数 1. get_json_object 语法:get_json_object(json_string, '$.key') 说明:解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。这个函数每次只能返回一个数 阅读全文
posted @ 2022-08-05 21:59 坤妹家萌萌哒萌新 阅读(476) 评论(0) 推荐(0) 编辑
摘要: 一、Hive 支持原始数据类型和复杂数据类型, 原始数据类型包含数值型/Boolean/字符串/时间戳,复杂数据类型包含 map/struct/array/union Hive 支持的原始数据类型 二、日期互转 string 数据文本 转 yyyy-mm-dd 语法:to_date(from_uni 阅读全文
posted @ 2022-08-05 18:11 坤妹家萌萌哒萌新 阅读(321) 评论(0) 推荐(0) 编辑
摘要: Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。 列裁剪和分区裁 阅读全文
posted @ 2022-05-05 10:31 坤妹家萌萌哒萌新 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 库操作 创建数据库 -- 创建一个数据库,在HDFS上的默认路径为/user/hive/warehouse/*.db create database mydatabase; -- 可以使用if exists判断数据库是否已存在(存在则不创建) create database if not exist 阅读全文
posted @ 2022-05-05 10:23 坤妹家萌萌哒萌新 阅读(314) 评论(0) 推荐(1) 编辑
摘要: 一、安装docker 二、安装docker-compose 两种最新的docker安装方式 1.从github上下载docker-compose二进制文件安装1.1下载最新版的docker-compose文件 sudo curl -L https://github.com/docker/compos 阅读全文
posted @ 2022-05-04 18:48 坤妹家萌萌哒萌新 阅读(1361) 评论(0) 推荐(1) 编辑
摘要: 1、下载MySQL:docker pull mysql 2、docker run -p 3308:3306 --restart=always --privileged=true --name mysql -v /opt/mysql/data:/var/lib/mysql -v /opt/mysql/ 阅读全文
posted @ 2022-04-30 11:24 坤妹家萌萌哒萌新 阅读(610) 评论(0) 推荐(0) 编辑
摘要: 原因:docker 里面的volumes缓存没有清除 命令:docker system prune 回车输入y确认 阅读全文
posted @ 2022-04-30 11:14 坤妹家萌萌哒萌新 阅读(187) 评论(0) 推荐(0) 编辑