监控指标

本章介绍Curvine的可观测监控指标,用于监控集群状态、性能和资源使用情况。

指标收集

master、worker、fuse 以及可选的 transfer 服务会通过各自的 HTTP Web 端口暴露监控指标,可以在 Prometheus 中采集这些指标,然后通过 Grafana 可视化。

  • master 指标:http://<master-host>:9010/metrics
  • worker 指标:http://<worker-host>:9002/metrics
  • fuse 指标:http://<fuse-host>:9003/metrics
  • transfer 指标:http://<transfer-host>:9011/metrics
  • MDS 指标(启用时):http://<mds-host>:9004/metrics

以上为单机代码默认端口。Helm Chart 仍沿用旧的 Web 端口,请以生成的 ConfigMap 中的实际端口为准。

Master 指标

指标名称描述
inode_dir_num目录数量
inode_file_num文件数量
num_blocksblock 总数
blocks_size_avgblock 平均大小
capacity总存储容量
available可用存储空间
fs_used文件系统已用空间
worker_numworker 数量(按状态分类)
rpc_request_total_countRPC 总请求计数
rpc_request_timeRPC 累计请求时间
rpc_queue_duration请求在 RPC 队列中的等待时间
replication_staging_number等待复制的块数量
replication_inflight_number正在进行复制的块数量
replication_failure_count累计复制失败的总次数
operation_duration操作耗时(按类型分类,不包括心跳)

在 Linux 上,每个服务还会额外暴露标准的 Prometheus 进程采集指标(process_resident_memory_bytes、process_cpu_seconds_total、process_open_fds、process_threads)。内存和 CPU 告警请用这些指标;旧的 used_memory_bytes 和 rocksdb_used_memory_bytes 已不存在。

兼容性指标

master 会对每个 worker 心跳和客户端握手执行兼容性评估,并将结果暴露为指标 (详见版本管理与兼容性):

指标名称类型标签描述
compat_worker_verdictGaugeworker_id、verdict每个 worker 当前兼容性结论,为 1
compat_client_verdictGaugeclient_addr、verdict每个 client 当前兼容性结论,为 1
compat_enforce_rejected_totalCountercomponent、verdictenforce 模式下累计拒绝次数

verdict 标签取值:compatible、missing_info、blocked、 protocol_mismatch、version_too_old、version_unknown。建议对 compat_worker_verdict / compat_client_verdict 中非 compatible 的结论设置告警, 以发现混合版本集群;对 compat_enforce_rejected_total 的增长设置告警, 及早发现升级冲突。

Journal Node 指标

指标名称描述
journal_queue_lenJournal 队列长度
journal_flush_countJournal 刷新次数
journal_flush_timeJournal 刷新时间

Client 指标

指标名称描述
client_mount_cache_hits挂载缓存命中数
client_mount_cache_misses挂载缓存未命中数
client_metadata_operation_duration元数据操作耗时
client_write_bytes写入字节数
client_write_time_us写入时间(微秒)
client_read_bytes读取字节数
client_read_time_us读取时间(微秒)

Worker 指标

指标名称描述
write_bytes写入字节数
write_time_us写入时间(微秒)
write_count写入次数
write_blocks写入块数(按类型分类)
read_bytes读取字节数
read_time_us读取时间(微秒)
read_count读取次数
read_blocks读取块数(按类型分类)
capacity总存储容量
available可用存储空间
fs_used文件系统已用空间
failed_disks异常存储数量
total_disks存储磁盘数量
num_blocksblock 总数
num_blocks_to_delete待删除 block 数