< 返回版块

shenjinti 发表于 2026-01-28 14:40

Tags:onnx,机器学习,推理框架

向大家介绍一个我正在开发的纯 Rust、零依赖、裸机级音频 AI 推理框架 —— lele。

代码开源在 https://github.com/miuda-ai/lele 求Star

反正我是受够了ORT(OnnxRuntime)跨平台编译简直无语了,反正onnx也是静态的,干脆一步到底:

lele 选择了一条不同的路:AOT(Ahead-Of-Time)编译。

它不依赖任何重量级运行时,而是直接解析 ONNX 计算图,将其编译为高度优化的纯 Rust 源代码。它专为语音交互场景(ASR, TTS, VAD)设计,追求极致的启动速度和运行时性能。

核心特性:

  • 🚀 Zero Runtime Dependencies:生成的模型就是纯 Rust 代码,无 libtorch、无 onnxruntime,甚至不需要 std (未来规划)。
  • ⚡ 硬核 SIMD 优化:针对 Apple Silicon (NEON) 和 x86_64 (AVX/SSE) 手写汇编级内联优化的算子,拒绝通用库的性能损耗。
  • 🧠 极致内存控制:静态内存分配与零拷贝权重加载,彻底消除运行时的 GC 和不可预测的内存抖动。
  • 🎙️ 专注音频领域:内置 FFT、Mel-Spectrogram、CMVN 等音频特征提取管线,开箱即用。

目前支持模型:

  • SenseVoiceSmall:高精度多语言语音识别
  • Silero VAD:工业级语音活动检测
  • Supertonic:快速高质量语音合成

Ext Link: https://github.com/miuda-ai/lele

评论区

写评论

还没有评论

1 共 0 条评论, 1 页