< 返回版块

szbr9486 发表于 2025-07-15 10:28

Tags:分布式缓存,Bigdata,AI

Curvine是一套分布式缓存系统,基于Rust实现,具备 高并发,高吞吐,低延迟,资源消耗低等特点。不同于Redis、TiKV等KV缓存,Curvine只提供文件缓存能力。Curvine不是存储系统,只提供缓存能力,数据持久化还是需要底层文件或者对象存储系统支撑。

Curvine适用于以下五大场景:

1、 大数据shuffle 中间数据加速

2、 大数据热表数据缓存加速

3、 AI训练数据缓存加速

4、 模型文件分发缓存加速

5、 多云数据缓存,解决跨云专线性能瓶颈

以上场景总结,只是抛砖引玉,通俗的理解,Curvine其实就是解决:

日益增长的计算性能需求与分布式存储系统的IO能力瓶颈的矛盾。

官网: https://curvineio.github.io/

github: https://github.com/curvineio/curvine


Ext Link: https://github.com/curvineio/curvine

评论区

写评论
作者 szbr9486 2025-07-15 13:21

解决存储系统IO性能问题,在云上,大数据,AI训练等场景,有明显的性能提升

1 共 1 条评论, 1 页