跳到主要内容

Curvine 2025 路线图

概述

本路线图概述了我们团队追求的目标以及我们对整个社区的愿景。
Curvine 在 2025 年的演进以一系列主要功能更新为标志,这些增强功能源于社区反馈和实际场景中的最新需求,体现了我们对卓越的持续追求。

加入我们

  • 对于存在可跟踪问题的任务,可直接在 GitHub Issues 中评论
  • 开放式建议请通过 GitHub Discussions 提出
  • 我们致力于发展开源生态系统,欢迎全球贡献者加入!

核心功能规划

1. 缓存功能完善

  • 缓存数据自动清理
  • 支持主流存储系统:
    • HDFS
    • S3
    • OSS (OSS-HDFS)
  • 缓存数据预加载

2. 数据写一致性

  • 写入时自动管理缓存并刷新到存储系统
  • Pipeline 多副本复制与自动维护
  • 强一致性协议支持

3. Shuffle 支持

  • 文件聚合功能
  • 集成 Spark RSS (Remote Shuffle Service)

4. 性能优化

  • ORPC 使用 io_uring 实现全链路零拷贝(解决云环境 splice 失效问题)
  • FUSE 全链路零拷贝(性能对齐 Client 模式)
  • RDMA 网络支持

5. 云原生支持

  • Curvine Operator
  • Curvine CSI 驱动

版本发布计划

2025 年里程碑

版本号发布日期核心功能
0.1.1-beta2025-07使用 Curvine FUSE 作为 Spark Shuffle 本地盘(通过 TPC-DS 测试)
0.2.1-beta2025-08Shuffle 功能完成 + Spark 集成测试
io_uring 加速读写
HDFS 协议支持
0.2.2-beta2025-08云原生 CSI 支持
0.3.1-beta2025-09缓存自动清理 + 多存储系统适配

大版本规划

版本号时间节点目标场景
1.0.0-base2025-12-30大数据场景完备支持:
- Shuffle 优化
- 本地 Spill 支持
- 热数据缓存加速
2.0.0-base2026-09-30AI 场景增强:
- 训练加速框架集成
- RDMA/GDS 支持