向大家介绍一个我正在开发的纯 Rust、零依赖、裸机级音频 AI 推理框架 —— lele。
代码开源在 https://github.com/miuda-ai/lele 求Star
反正我是受够了ORT(OnnxRuntime)跨平台编译简直无语了,反正onnx也是静态的,干脆一步到底:
lele 选择了一条不同的路:AOT(Ahead-Of-Time)编译。
它不依赖任何重量级运行时,而是直接解析 ONNX 计算图,将其编译为高度优化的纯 Rust 源代码。它专为语音交互场景(ASR, TTS, VAD)设计,追求极致的启动速度和运行时性能。
核心特性:
- 🚀 Zero Runtime Dependencies:生成的模型就是纯 Rust 代码,无 libtorch、无 onnxruntime,甚至不需要 std (未来规划)。
- ⚡ 硬核 SIMD 优化:针对 Apple Silicon (NEON) 和 x86_64 (AVX/SSE) 手写汇编级内联优化的算子,拒绝通用库的性能损耗。
- 🧠 极致内存控制:静态内存分配与零拷贝权重加载,彻底消除运行时的 GC 和不可预测的内存抖动。
- 🎙️ 专注音频领域:内置 FFT、Mel-Spectrogram、CMVN 等音频特征提取管线,开箱即用。
目前支持模型:
- SenseVoiceSmall:高精度多语言语音识别
- Silero VAD:工业级语音活动检测
- Supertonic:快速高质量语音合成
Ext Link: https://github.com/miuda-ai/lele
1
共 0 条评论, 1 页
评论区
写评论还没有评论