随笔分类 -  大数据

Hive跨集群迁移
摘要：Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs 阅读全文
posted @ 2019-07-06 14:12 滴滴滴 阅读(2392) 评论(0) 推荐(0) 编辑
HADOOP回顾
摘要：1. hadoop 分为四大模块 common 其他组件的公共一来模块 HDFS 分布式模块提供高吞吐量的数据访问 mapreduce 分布式计算模块 yarn 作业调度和集群资源管理模块 2. 安装的版本2.60. jdk版本1.80_131 Namenode 是整个文件系统的管理节点.他维护者整 阅读全文
posted @ 2019-04-18 09:39 滴滴滴 阅读(283) 评论(0) 推荐(0) 编辑
hadoop的datanode的clusterID 和 namenode的clusterID 不匹配
摘要：enode clusterID = CID-14fdadb8-2b0e-494f-9596-6b65fc3a3a35; datanode clusterID = CID-591f9cd9-d1b2-4fab-899f-63c935004a672017-10-01 10:19:00,752 FATAL 阅读全文
posted @ 2017-10-01 10:37 滴滴滴 阅读(1879) 评论(0) 推荐(0) 编辑