-
Spark Streaming Kafka 消费中断 Offset 重放消费
另一篇: KAFKA 生产环境运维姿势 另一篇: Spark 生产集群性能调优之路 1. 背景 晚上收到告警消息说没实时数据了... 架构是: kafka -> sp…
-
Git 分布式研发团队操作姿势
Git 分布式研发团队操作姿势 1. 查看分支 # 查看本地分支 git branch # 查看本地标签 git tag -l # 查看远程分支 git branch -r 2. 删除分支/标签 # 查看本地/远程分支 …
-
JVM 进程异常退出分析及处理
1.启动失败异常退出 1.1 如果是 ClassNotFoundException 的错误导致退出，多半是jar包冲突，找出冲突jar排除即可，可增加 JVM 启动参数打印加载情况。 java -XX:+TraceCla…
-
HBase 统计生产集群大表行数
HBase 统计生产集群大表行数 背景: 对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有好几…
-
基于hadoop的物联网平台部署指南
基于hadoop的物联网平台部署指南 link: https://gitee.com/wl4g-private/safecloud-deploy/blob/master/bigdata/README.md
-
Linux 生产内核网络参数调优分析
Linux 生产内核网络参数调优分析 本文总结了常见的 Linux 内核参数及相关问题。修改内核参数前，您需要： 从实际需要出发，最好有相关数据的支撑，不建议随意调整内核参数。 了解参数的具体作用，且注意同类型或版本环境…
-
Dell 工作本 Win10 + Ubuntu16.04 双系统采坑之路 (使用 UltraISO)
Dell 工作本 Win10 + Ubuntu16.04 双系统采坑之路 (使用 UltraISO) 另一篇: Dell 工作本 Win10 + Ubuntu19.10 双系统采坑之路 (使用 rufus) 由于工作原因…
-
基于 ntpd / chrony 的 Linux 生产时钟管理
基于 ntpd / chrony 的 Linux 生产时钟管理 1. 概念 如在 CentOS 6 中时间设置有 date、hwclock 命令，从 CentOS 7 开始使用了一个新的命令 timedatectl。 （…
-
CentOS 7 systemd service 设置limit，不生效问题
参考文献 问题简述：Centos7下修改系统的最大文件打开数的时候，对系统启动的进程不生效 问题详述：Centos7下需修改系统最大文件打开数为100000，进程数为50000，于是做了如下操作 说 明：此问题只出现在c…
-
HBase 生产集群性能调优之路
HBase 生产集群性能调优之路 另一篇: SPARK 集群生产性能调优之路 参考 1: 使用 Prometheus(jmx_exporter) + Grafana 之监控 HBase 其实本身 hdfs 和 hbase…