Hadoop
Hadoop系列
-
记一次 springboot+hive+log4j冲突导致CPU爆满问题
背景 为实现公司实时业务数据流处理微服务(springboot:2.7.13)高压缩比，集成了 apache orc:1.9.3 现象 在本地 IDEA 单测启动发现 @Test 方法死活不进入 分析 开始以为是构建问题…
-
记一次 HBase 慢查询排查与解决过程
记一次 HBase 慢查询排查与解决过程 最近HBase集群遇到过一次慢查询请求的问题，下面是对这一问题的具体描述及排查解决过程。 1. 发现问题 项目中有一张HBase表，每天凌晨以后会集中批量导入一批数据，导入数据量…
-
HDFS 扩缩容之 balancer 优化
前言 Hadoop 的 HDFS 集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达…
-
基于 CDH 6 大数据平台生产部署
基于 CDH 6 大数据平台生产部署 相关1：基于 Apache Hadoop 大数据平台生产部署（原汁原味） 1. 部署拓扑 IP Host CM Components CDH Components 10.0.0.11…
-
IOTDB 部署案例
Official source: github.com/apache/iotdb Official design docs: cwiki.apache.org/confluence/pages/viewpage.acti…
-
DolphinScheduler 测试/生产部署实例
官方文档: dolphinscheduler.apache.org/zh-cn/docs/2.0.5/user_doc/guide/installation/docker.html 源码分析: cnblogs.com/g…
-
Kafka 生产集群监控调优之路
Kafka 生产集群监控调优之路 另一篇: KAFKA 生产环境运维姿势 1. 参考 官方配置: https://kafka.apache.org/documentation/ 官方监控: https://kafka.a…
-
Phoenix 常用函数之优雅操作 HBase
Phoenix 常用函数之优雅操作 HBase 参考 1: 官方-内置函数文档: http://phoenix.apache.org/language/functions.html 参考 2: 官方-自定义函数文档: h…
-
HBase 集成 Phoenix 错误 TableExistsException): SYSTEM.MUTEX
运行环境 在以下环境下测试均出现这个错误: apache-phoenix-4.10.0-HBase-1.2-client.jar + apache-hbase-1.2.5 + apache-spark-2.3.0(apa…
-
flink 编译报错 could not find implicit value for evidence parameter of type org.apache.flink.api.common..
flink 编译报错 could not find implicit value for evidence parameter of type org.apache.flink.api.common.. 错误描述 Err…