大数据从零开始 - 随笔分类 - ADataer

Hive创建事务表

摘要：在Hive 0.14版本后，ORC文件能够确保Hive在工作时的ACID性质被正确地得到使用，使得对数据进行更新操作成为可能，但Hive的事务仍被设计成每个事务适用于更新大批量的数据，而不建议用事务频繁地更新小批量的数据。 -- (1) 设置hive环境参数 -- 开启并发支持，支持插入、删除和更新阅读全文

posted @ 2022-10-22 17:08 ADataer 阅读(684) 评论(0) 推荐(0) 编辑

Hive函数

摘要：Hive版本 = 3.1.2 ##1.Hive内置函数 ###1.1 函数查看 show functions; desc function functionName; ###1.2 日期函数显示当前系统时间函数：current_date()、current_timestamp()、unix_tim 阅读全文

posted @ 2022-07-25 21:48 ADataer 编辑

Hive Data Definition Language (DDL)

摘要：Create/Drop/Alter/Use Database Create Database CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --REMOTE: hive4使用 [COMMENT database_com 阅读全文

posted @ 2022-07-17 16:34 ADataer 阅读(213) 评论(0) 推荐(0) 编辑

Hadoop File System Shell Guide

摘要：官方文档用法：hdfs dfs | hadoop fs [COMMAND [COMMAND_OPTIONS]] appendToFile 用法：hadoop fs -appendToFile <localsrc> ... <dst> 将本地文件系统中的单个 src 或多个 src 追加到目标文件系阅读全文

posted @ 2022-06-24 16:11 ADataer 阅读(101) 评论(0) 推荐(0) 编辑

Hive集成tez引擎

摘要：在使用Hive 2的时候，启动时会提示：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i 阅读全文

posted @ 2022-06-10 21:11 ADataer 阅读(169) 评论(0) 推荐(0) 编辑

Hive元数据配置到MySQL

摘要：cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib vi $HIVE_HOME/conf/hive-site.xml #添加 <?xml version="1.0"?> <?xml-stylesheet type="text 阅读全文

posted @ 2022-06-10 18:01 ADataer 阅读(25) 评论(0) 推荐(0) 编辑

Hadoop集成lzo（含maven安装）

摘要：Hadoop本身并不支持lzo压缩，其配置步骤如下 1 maven安装 #下载 https://maven.apache.org/download.cgi #最新版本为apache-maven-3.8.5-bin.tar.gz #解压 tar -zxvf /opt/software/apache-m 阅读全文

posted @ 2022-06-10 17:51 ADataer 阅读(222) 评论(0) 推荐(0) 编辑

一、大数据环境准备

摘要：####1.Linux版本选择 CentOS-7-x86_64-DVD-2009.iso ####2.修改ip #查看ip ip addr //hostname -I 仅查看ip地址 #进入配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改阅读全文

posted @ 2022-06-09 15:41 ADataer 阅读(27) 评论(0) 推荐(0) 编辑

随笔分类 - 大数据从零开始

公告