监控指标
本章介绍Curvine的可观测监控指标,用于监控集群状态、性能和资源使用情况。
指标收集
master、worker、fuse 以及可选的 transfer 服务会通过各自的 HTTP Web 端口暴露监控指标,可以在 Prometheus 中采集这些指标,然后通过 Grafana 可视化。
- master 指标:
http://<master-host>:9010/metrics - worker 指标:
http://<worker-host>:9002/metrics - fuse 指标:
http://<fuse-host>:9003/metrics - transfer 指标:
http://<transfer-host>:9011/metrics - MDS 指标(启用时):
http://<mds-host>:9004/metrics
以上为单机代码默认端口。Helm Chart 仍沿用旧的 Web 端口,请以生成的 ConfigMap 中的实际端口为准。
Master 指标
| 指标名称 | 描述 |
|---|---|
| inode_dir_num | 目录数量 |
| inode_file_num | 文件数量 |
| num_blocks | block 总数 |
| blocks_size_avg | block 平均大小 |
| capacity | 总存储容量 |
| available | 可用存储空间 |
| fs_used | 文件系统已用空间 |
| worker_num | worker 数量(按状态分类) |
| rpc_request_total_count | RPC 总请求计数 |
| rpc_request_time | RPC 累计请求时间 |
| rpc_queue_duration | 请求在 RPC 队列中的等待时间 |
| replication_staging_number | 等待复制的块数量 |
| replication_inflight_number | 正在进行复制的块数量 |
| replication_failure_count | 累计复制失败的总次数 |
| operation_duration | 操作耗时(按类型分类,不包括心跳) |
在 Linux 上,每个服务还会额外暴露标准的 Prometheus 进程采集指标(process_resident_memory_bytes、process_cpu_seconds_total、process_open_fds、process_threads)。内存和 CPU 告警请用这些指标;旧的 used_memory_bytes 和 rocksdb_used_memory_bytes 已不存在。
兼容性指标
master 会对每个 worker 心跳和客户端握手执行兼容性评估,并将结果暴露为指标 (详见版本管理与兼容性):
| 指标名称 | 类型 | 标签 | 描述 |
|---|---|---|---|
| compat_worker_verdict | Gauge | worker_id、verdict | 每个 worker 当前兼容性结论,为 1 |
| compat_client_verdict | Gauge | client_addr、verdict | 每个 client 当前兼容性结论,为 1 |
| compat_enforce_rejected_total | Counter | component、verdict | enforce 模式下累计拒绝次数 |
verdict 标签取值:compatible、missing_info、blocked、
protocol_mismatch、version_too_old、version_unknown。建议对
compat_worker_verdict / compat_client_verdict 中非 compatible 的结论设置告警,
以发现混合版本集群;对 compat_enforce_rejected_total 的增长设置告警,
及早发现升级冲突。
Journal Node 指标
| 指标名称 | 描述 |
|---|---|
| journal_queue_len | Journal 队列长度 |
| journal_flush_count | Journal 刷新次数 |
| journal_flush_time | Journal 刷新时间 |
Client 指标
| 指标名称 | 描述 |
|---|---|
| client_mount_cache_hits | 挂载缓存命中数 |
| client_mount_cache_misses | 挂载缓存未命中数 |
| client_metadata_operation_duration | 元数据操作耗时 |
| client_write_bytes | 写入字节数 |
| client_write_time_us | 写入时间(微秒) |
| client_read_bytes | 读取字节数 |
| client_read_time_us | 读取时间(微秒) |
Worker 指标
| 指标名称 | 描述 |
|---|---|
| write_bytes | 写入字节数 |
| write_time_us | 写入时间(微秒) |
| write_count | 写入次数 |
| write_blocks | 写入块数(按类型分类) |
| read_bytes | 读取字节数 |
| read_time_us | 读取时间(微秒) |
| read_count | 读取次数 |
| read_blocks | 读取块数(按类型分类) |
| capacity | 总存储容量 |
| available | 可用存储空间 |
| fs_used | 文件系统已用空间 |
| failed_disks | 异常存储数量 |
| total_disks | 存储磁盘数量 |
| num_blocks | block 总数 |
| num_blocks_to_delete | 待删除 block 数 |