快速部署之 cmak / kafka-manager 参考 1: 编译部署 kafka-manager 请一定要注意版本匹配，本文使用 kafka-2.12-2.5.0 + cmak-2.0.0.2(kafka-mana…

DolphinScheduler源码分析 参考 1: DolphinScheduler源码分析

HBase表优化及Rowkey设计

另一篇: KAFKA 生产环境运维姿势 另一篇: Spark 生产集群性能调优之路 1. 背景     晚上收到告警消息说没实时数据了... 架构是: kafka -> sp…

HBase 统计生产集群大表行数 背景: 对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有好几…

基于hadoop的物联网平台部署指南 link: https://gitee.com/wl4g-private/safecloud-deploy/blob/master/bigdata/README.md

HBase 生产集群性能调优之路 另一篇: SPARK 集群生产性能调优之路 参考 1: 使用 Prometheus(jmx_exporter) + Grafana 之监控 HBase 其实本身 hdfs 和 hbase…

Hadoop 集动态添加或删除节点 1. 下线节点 1.1.1 NameNode 节点上 dfs.exclude 文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线 emr-worker-7,emr-work…

Hadoop/EMR 生产故障排查 1. HDFS 1.1 重新上电启动 HDFS 集群，日志显示在安全模式 解决 # 手动退出安全模式 hdfs dfsadmin -safemode leave # 查看当前安全模式状…