跳到主要内容

监控指标

本章介绍Curvine的可观测监控指标,用于监控集群状态、性能和资源使用情况。

指标收集

master,worker,fuse,s3 gateway会通过http接口暴露监控指标,可以在prometheus采集这些指标,然后通过grafana可视化这些指标。

  • master指标:http://URL_ADDRESS:9000/metrics
  • worker指标:http://URL_ADDRESS:9001/metrics
  • fuse指标:http://URL_ADDRESS:9002/metrics
  • s3 gateway指标:http://URL_ADDRESS:9003/metrics

Master 指标

指标名称描述
inode_dir_num目录数量
inode_file_num文件数量
num_blocksblock 总数
blocks_size_avgblock 平均大小
capacity总存储容量
available可用存储空间
fs_used文件系统已用空间
used_memory_bytes已用内存字节数
rocksdb_used_memory_bytesrocksdb 内存占用
worker_numworker 数量(按状态分类)
rpc_request_total_countRPC 总请求计数
rpc_request_total_timeRPC 总请求时间
replication_staging_number等待复制的块数量
replication_inflight_number正在进行复制的块数量
replication_failure_count累计复制失败的总次数
operation_duration操作耗时(按类型分类,不包括心跳)

兼容性指标

master 会对每个 worker 心跳和客户端握手执行兼容性评估,并将结果暴露为指标 (详见版本管理与兼容性):

指标名称类型标签描述
compat_worker_verdictGaugeworker_idverdict每个 worker 当前兼容性结论,为 1
compat_client_verdictGaugeclient_addrverdict每个 client 当前兼容性结论,为 1
compat_enforce_rejected_totalCountercomponentverdictenforce 模式下累计拒绝次数

verdict 标签取值:compatiblemissing_infoblockedprotocol_mismatchversion_too_oldversion_unknown。建议对 compat_worker_verdict / compat_client_verdict 中非 compatible 的结论设置告警, 以发现混合版本集群;对 compat_enforce_rejected_total 的增长设置告警, 及早发现升级冲突。

Journal Node 指标

指标名称描述
journal_queue_lenJournal 队列长度
journal_flush_countJournal 刷新次数
journal_flush_timeJournal 刷新时间

Client 指标

指标名称描述
client_mount_cache_hits挂载缓存命中数
client_mount_cache_misses挂载缓存未命中数
client_metadata_operation_duration元数据操作耗时
client_write_bytes写入字节数
client_write_time_us写入时间(微秒)
client_read_bytes读取字节数
client_read_time_us读取时间(微秒)

Worker 指标

指标名称描述
write_bytes写入字节数
write_time_us写入时间(微秒)
write_count写入次数
write_blocks写入块数(按类型分类)
read_bytes读取字节数
read_time_us读取时间(微秒)
read_count读取次数
read_blocks读取块数(按类型分类)
capacity总存储容量
available可用存储空间
fs_used文件系统已用空间
failed_disks异常存储数量
total_disks存储磁盘数量
num_blocksblock 总数
num_blocks_to_delete待删除 block 数
used_memory_bytes已用内存字节数