EMR(hadoop/hbase/phoenix夸集群数据迁移采坑记录)
本文来自于我的简书： https://www.jianshu.com/p/71fe2fed0c56
一、概述：
Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot)
二、以下针对distcp方案详细说明(以亲测阿里EMR为例)：
step1：
首先打通两个集群网络(建议内网)，新建一个tmp安全组，将两个集群的所有ECS都加入进来；
step2：
Cluster-A中将HBase的表在HDFS存储文件distcp到Cluster-B的HBase在HDFS中对应的目录(一定要用hdfs账户)
[root@emr-header-1 ~]# sudo su hdfs
[hdfs@emr-header-1 ~]# hadoop distcp hdfs://A:9000/hbase/data/default/safeclound.tb_ammeter hdfs://B:8020/hbase/data/default # 将表safeclound.tb_ammeter从A集群在线拷贝到B集群，注：老版本端口是9000新版本是8020
备注: /hbase/data/default是E-MapReduce中HBase表在HDFS存储路径，例如表TestTable 的存储路径是/hbase/data/default/TestHbase, 可以只有单个表的路径，
也可以是default下面所有表的路径(即*表示)，EMR的老版本hdfs端口是9000，新版hdfs端口是8020，这个具体情况而定就行。
特别注意：千万不能把hbase和Phoenix的系统表拷贝了，只需拷贝自建的业务表即可(因为distcp对于Cluster-B是覆盖操作)，
根据本人亲测经验还是老老实实一张一张表拷贝吧，非常不建议使用*，一是多个表数据量可能巨大，二是会把系统表拷贝过去了
Cluster-B中执行HBase repair修复(一定要用hbase账户)
[root@emr-ha-header-1 ~]# sudo su hbase
[hbase@emr-ha-header-1 ~]# hbase hbck -repair #执行hbase恢复命令，让hbase引用distcp过来的hdfs表文件
[hbase@emr-ha-header-1 ~]# hbase shell #进入hbase shell检查是否迁移成功
提示：根据亲测经验，若执行hbase hbck -repair后在hbase shell中任然看不到迁移来的表，别急，先喝杯茶稍等一会儿（内网迁移通常1分钟内）然后再重新执行hbase hbck -repair命令，
直到出现以下字幕，说明hbase迁移就要成功了！
util.HBaseFsck: Sleeping 10000ms before re-checking after fix...
（猜测此问题可能是由于hdfs拷贝过来后有些异步操作未完成所导致）
step3：（若不是Phoenix+hbase架构组合可忽略）
在上一步hbase shell检查迁移成功之后，再测试Phoenix查询，可能会出现在hbase shell中list或者scan命令都完全正常，
但在Phoenix中看不到迁移过来的表，别急，因为Phoenix还不知道你从hdfs迁移的表，经过Google找到解决方法1：
1. 通过在Phoenix执行create view ... 语句，创建一个视图就可以了（但后续还要维护视图，如果不像创建view 可参考以下2方案）
2. 直接在Phoenix执行create table ...语句，（警告：此方式可能会出现Huang住最后导致hbase某个节点宕机，亲身经历！！！
但也不是莫有办法，亲测一个巧妙的方法：在执行create table 时无需等待执行完成，当按下Enter键执行后，立即Ctrl+C终止sqlline.py进程
，然后重新打开sqlline.py，执行!table命令就可以看到新迁移的表了）
三、FAQ:
1. 万一误覆盖了Cluster-B的系统表如何恢复？？？（若操作正常可忽略）
step1：备份hbase在hdfs上的根目录
[root@emr-ha-header-1 ~]# hadoop fs -mv /hbase /hbase_bak
step2：停掉hbase所有服务（若EMR新版，可在阿里EMR控制台stop hbase all）
step3：清除ZK里hbase的注册信息（很关键，否则不会自动生成系统表）
[root@emr-ha-header-1 ~]# sh /usr/lib/zookeeper-current/bin/zkCli.sh -server 127.0.0.1:2181
[root@emr-ha-header-1 ~]# ls /
[root@emr-ha-header-1 ~]# rmr /hbase
step4：重新启动hbase所有服务
step5：测试hbase是否自动生成
[root@emr-ha-header-1 ~]# hadoop fs -ls / #查看hdfs里是否生成了 /hbase 目录
[root@emr-ha-header-1 ~]# hbase shell #进入hbase shell
hbase(main):001:0> list #查看hbase里是否可见相应的系统表SYSTEM.CATALOG、SYSTEM.FUNCTION 、SYSTEM.MUTEX、SYSTEM.SEQUENCE、SYSTEM.STATS等
TABLE
SYSTEM.CATALOG
SYSTEM.FUNCTION
SYSTEM.MUTEX
SYSTEM.SEQUENCE
SYSTEM.STATS
5 row(s) in 0.1010 seconds
... ...
恭喜，出现以上字幕即恢复成功！
2. 可否使用离线拷贝？？？（若无需离线拷贝可忽略）
step1：只需将distcp...命令改用 get、put通过本地中转就行了(无关心执行账户)
[root@emr-header-1 ~]$ hadoop fs -get /hbase/data/default/safeclound.tb_ammeter_analyze #从源hbase集群下载业务表到本地
step2：scp到目地hbase集群服务器
[root@emr-header-1 ~]$ tar -cvf safeclound.tb_ammeter_analyze.tar safeclound.tb_ammeter_analyze
[root@emr-header-1 ~]$ scp safeclound.tb_ammeter_analyze.tar root@target-hbase-master:/root
step3：在目地服务器上将业务表文件加载到hdfs（其中target-hbase-master安装的是原生hbase且是默认配置，因此在hdfs的数据文件路径才是：/tmp/hbase-root/hbase/data/default/
，如果是阿里云的EMR，则在hdfs的数据路径为：/hbase/data/default）
[root@target-hbase-master ~]# hadoop fs -put /root/safeclound.tb_ammeter_analyze/ /tmp/hbase-root/hbase/data/default/
step4：查看验证是否加载成功
[root@target-hbase-master ~]# hadoop fs -ls /tmp/hbase-root/hbase/data/default/
step5：接下来就同上面第二点的step2中的 运行 hbase hbck -repair 命令一样了。。。
参考文献：
1. hbase数据迁移介绍
3. 若使用的是Phoenix+hbase组合，若Phoenix版本低于4.10升级到4.10之后，可能会出现除主键字段外其他字段都查不出数据，但在hbase shell中scan表又有数据的情况解决方案：phoenix官网
phoenix官网截图：
