整个项目全部采用Rust开发，从大模型推理部分到前端的WEB界面完全采用Rust开发。
项目地址： https://github.com/Lyn-liyuan/moonweb
Ext Link: https://zhuanlan.zhihu.com/p/703925439
1
共 2 条评论, 1 页
整个项目全部采用Rust开发，从大模型推理部分到前端的WEB界面完全采用Rust开发。
项目地址： https://github.com/Lyn-liyuan/moonweb
评论区
写评论不是，而是用 huggingface 的 Candle 框架写了推理部分。
--
👇
坚果修补匠: 推理是用 Rust 写了 llama.cpp 吗
推理是用 Rust 写了 llama.cpp 吗