Curvine是一套分布式缓存系统,基于Rust实现,具备 高并发,高吞吐,低延迟,资源消耗低等特点。不同于Redis、TiKV等KV缓存,Curvine只提供文件缓存能力。Curvine不是存储系统,只提供缓存能力,数据持久化还是需要底层文件或者对象存储系统支撑。
Curvine适用于以下五大场景:
1、 大数据shuffle 中间数据加速
2、 大数据热表数据缓存加速
3、 AI训练数据缓存加速
4、 模型文件分发缓存加速
5、 多云数据缓存,解决跨云专线性能瓶颈
以上场景总结,只是抛砖引玉,通俗的理解,Curvine其实就是解决:
日益增长的计算性能需求与分布式存储系统的IO能力瓶颈的矛盾。
官网: https://curvineio.github.io/
github: https://github.com/curvineio/curvine
Ext Link: https://github.com/curvineio/curvine
1
共 1 条评论, 1 页
评论区
写评论解决存储系统IO性能问题,在云上,大数据,AI训练等场景,有明显的性能提升