06 2022 档案
Hadoop File System Shell Guide
摘要：官方文档 用法：hdfs dfs | hadoop fs [COMMAND [COMMAND_OPTIONS]] appendToFile 用法：hadoop fs -appendToFile <localsrc> ... <dst> 将本地文件系统中的单个 src 或多个 src 追加到目标文件系 阅读全文
posted @ 2022-06-24 16:11 ADataer 阅读(101) 评论(0) 推荐(0) 编辑
Hive集成tez引擎
摘要：在使用Hive 2的时候，启动时会提示：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i 阅读全文
posted @ 2022-06-10 21:11 ADataer 阅读(169) 评论(0) 推荐(0) 编辑
Hive元数据配置到MySQL
摘要：cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib vi $HIVE_HOME/conf/hive-site.xml #添加 <?xml version="1.0"?> <?xml-stylesheet type="text 阅读全文
posted @ 2022-06-10 18:01 ADataer 阅读(25) 评论(0) 推荐(0) 编辑
Hadoop集成lzo（含maven安装）
摘要：Hadoop本身并不支持lzo压缩，其配置步骤如下 1 maven安装 #下载 https://maven.apache.org/download.cgi #最新版本为apache-maven-3.8.5-bin.tar.gz #解压 tar -zxvf /opt/software/apache-m 阅读全文
posted @ 2022-06-10 17:51 ADataer 阅读(222) 评论(0) 推荐(0) 编辑
一、大数据环境准备
摘要：####1.Linux版本选择 CentOS-7-x86_64-DVD-2009.iso ####2.修改ip #查看ip ip addr //hostname -I 仅查看ip地址 #进入配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改 阅读全文
posted @ 2022-06-09 15:41 ADataer 阅读(27) 评论(0) 推荐(0) 编辑