Hbase数据备份
以前一个项目的客户要搬迁机房,换新服务器。项目中使用到了hbase,且新机房与原机房都处于内网中,无法通过网络连接,所有需要将hbase中数据备份到本地文件系统,再通过拷贝方式在新机房中恢复数据。下面记录一下hbase的数据备份过程。
1)首先检查yarn有没有启动,输入命令
1.$ jps
输出如下:
6947 ThriftServer
4821 NameNode
17845 ResourceManager
5766 HMaster
5657 HQuorumPeer
5083 SecondaryNameNode
30686 Jps
检查输出中有没有ResourceManager项,如果没有,需要手动启动yarn,输入命令:
- $ cd $HBASE_HOME/
2) 将HBase表数据导出到hdfs的一个指定目录中,具体命令如下:
- $ cd $HBASE_HOME/
- $ bin/hbase org.apache.hadoop.hbase.mapreduce.Export test_table /data/test_table
3) 查看以下指定的导出目录,命令如下:
- $ cd $HADOOP_HOME/
- $ bin/hadoop fs -ls /data/test_table
4)将导出的文件放到需要导入的新服务器的hdfs中去,命令如下:
hadoop fs -put exportFilePath /data/newFilePath
4) 将导出到hdfs中的数据导入到hbase创建好的表中。注意,该表可以和之前的表不同名,但模式一定要相同。
5) 执行导入命令
- $ cd $HBASE_HOME/
- $ bin/hbase org.apache.hadoop.hbase.mapreduce.Import test_copy hdfs://l-master.data/data/test_table
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· .NET Core 中如何实现缓存的预热?
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
· 【译】Visual Studio 中新的强大生产力特性