当前位置: 首页 > article >正文

HDFS和HBase跨集群数据迁移 源码

HDFS集群间数据迁移(hadoop distcp)

hadoop distcp \
-pb \
hdfs://XX.14.36.205:8020/user/hive/warehouse/dp_fk_tmp.db/ph_cash_order \
hdfs://XX.18.32.21:8020/user/hive/warehouse/dp_fksx_mart.db/

在这里插入图片描述

HBase集群间数据(hbase ExportSnapshot)

/usr/local/fqlhadoop/hbase/bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-Dmapreduce.job.name=ExportSnapshot-portrait_info_fql_20241106 \
-Dmapreduce.job.queuename=lx_realtime \
-Dsnapshot.export.skip.tmp=true \
-Dmapreduce.map.memory.mb=4096 \
-Dmapreduce.map.java.opts=-Xmx3686m \
-overwrite \
-snapshot snapshot_portrait_info_fql_20241106 \
-copy-from hdfs://11.portraitszl.hbase.fql.com:8020/hbase \
-copy-to hdfs://1.compareportrait.hbase.fql.com:8020/hbase \
-mappers 150 \
-bandwidth 100

在这里插入图片描述


http://www.kler.cn/a/383007.html

相关文章:

  • C语言中的分支和循环:深入理解与应用
  • 「Mac畅玩鸿蒙与硬件25」UI互动应用篇2 - 计时器应用实现
  • 深入理解网络协议:OSPF、VLAN、NAT与ACL详解
  • 【大数据学习 | kafka高级部分】kafka的快速读写
  • Python | Leetcode Python题解之第528题按权重随机选择
  • Java学习教程,从入门到精通,Java对象和类语法知识点(20)
  • 【PGCCC】Postgresql slru 缓存和存储
  • 基于 Vue3、Vite 和 TypeScript 实现开发环境下解决跨域问题,实现前后端数据传递
  • 【人工智能】图神经网络(GNN)的原理与实现:Python与PyTorch Geometric在社交网络与化学分子建模中的应用
  • 前端八股文(二)CSS 持续更新中。。。
  • C++:继承及其相关问题
  • 国产MCU厂商第三季度取得亮眼成绩!
  • 新能源汽车与公共充电桩布局
  • 小华一级 代理商 HC32F005C6PA-TSSOP20 HC32F005系列
  • Neo4j 和 Python 初学者指南:如何使用可选关系匹配优化 Cypher 查询
  • 摄影 4.8.7.2| 惊艳的摄影和修图软件,含教程和作品欣赏。
  • Node.js简介以及安装部署 (基础介绍 一)
  • JAVA基础【第四篇】
  • 在docker中搭建redis哨兵环境
  • 编译器优化乌龙——记一次死循环不进入问题
  • Elasticsearch Interval 查询:为什么它们是真正的位置查询,以及如何从 Span 转换
  • aitrader产品规划:数据自动下载,策略,因子挖掘,实盘对接,gui界面(源码+数据)
  • 重构代码之移动方法
  • 数据挖掘(六)
  • CentOS 9 Stream 上安装 Nginx
  • 【c知道】Hadoop工作原理。