自定义 NameNode Xmx等参数 参考1: 如何优雅设置hadoop相关组件的jvm Xmx 参考2: 合理设置Hdfs Xmx 总结 不建议直接修改hadoop-env.sh的HADOOP_HEAPSIZE，因为…

关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析 NameNode、DataNode热迁移方案 NameNode热迁移方案

Zookeeper 生产集群维护 1. 事务日志清理 cd /usr/lib/zookeeper-current/ java -cp zookeeper-3.4.6.jar:conf/:lib/* org.apache.…

EMQx 生产集群部署 注：老版本 2.x 名称叫 emqtt，新版 4.x 叫 emqx，主配置变化不大，本文配置中就统一使用 emq 作为名称。 1. 基于 Host 部署集群 docs.emqx.cn/broker…

错误现象： 今早在EMR3.2的生产新集群上执行导出操作： hbase org.apache.hadoop.hbase.mapreduce.Export safeclound.tb_ammeter /backup/tb_…

1. 生产场景 最近由于公司业务调整，新购了E-MapReduce集群，需将老E-MapReduce集群的数据迁移到新集群上（由于是iOT业务，又24小时实时写数据不中断） Hbase(Phoenix)数据迁移方案主要分…

Cluster-A导出： step1（导出到hdfs临时目录 /backup）： 使用hbaseExport帮助： hbase org.apache.hadoop.hbase.mapreduce.Export help …

阿里 EMR3.2 Hbase 客户端 BUG 1. 错误现象 今早在 EMR3.2 的生产新集群上执行导出操作: hbase org.apache.hadoop.hbase.mapreduce.Export safec…

Kafka 生产环境运维姿势 另一篇: Kafka 生产集群监控调优之路 另一篇: 生产 Spark Streaming Kafka 消费中断如何 OFFSET 重放消费 1. 日常运维 1.1 kafka生产消息 ./…

本文来自于我的简书： https://www.jianshu.com/p/71fe2fed0c56 一、概述： Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(cop…