来自 CrabNebula 的 Tauri LLM 插件官方

刚刚看到一个非常令人兴奋的“官方”Tauri插件发布了，似乎是由CrabNebula的开发者制作的，这意味着它会得到很好的支持。这是一个用于在本地加载和操作大多数LLM的插件。

https://github.com/crabnebula-dev/tauri-plugin-llm

如果您还不知道，蟹状星云是 Tauri 优先的云分发平台。

https://crabnebula.dev/

Rust 的第五个超能力：防止死锁

Rust 以其安全机制而闻名，但遗憾的是，这些机制通常仅限于内存安全。实际上，它有多达五种主要的安全机制：

• 空指针安全，避免托尼·霍尔爵士犯下的十亿美元错误。
• 内存访问安全（通过所有权和借用检查器强制执行）是优秀软件工程的基石。很少有人谈论它，因为在其他语言中，它充其量只是可选的——而实际上，它本身就是一项强大的功能。
• 通过内存访问安全实现内存管理安全，而无需耗费大量资源进行垃圾回收。（如果每个微服务都配备一个这样的内存访问安全机制，它们相互竞争，会严重影响延迟，因此成本尤其高昂。）
• 数据竞争安全性再次得到保障，因为编译器了解你的值是如何处理的，并结合了强类型系统。后者标记了那些可以安全地在同步线程中使用或发送到其他线程的类型和/或包装器。任何其他情况都不会被编译，从而避免了日后令人头疼的调试工作。
• 遗憾的是，死锁安全无法实现自动化。

不过，让我们深入探讨最后一点：谷歌放弃了用 Go 语言编写的容易出现死锁的 Netstack2 之后，将其移植到了 Rust。在这里，同样得益于 Rust 的强类型系统，他们将每个锁都嵌入到类型系统内部创建的、经过编译器验证的状态机中（简称 typestate）。这使得所有线程只能按照相同的顺序获取锁——在编译时就得到了保证。Joshua Liebow-Feeser 就此发表了一场精彩的演讲（▶ Safety in an Unsafe World）。

谷歌将其拆分为一个独立库，但出于两个原因，它并没有得到应有的关注。首先，尽管它在 Fuchsia 生态系统中已经发展成熟，但这个独立库最初只是一个令人担忧的 0.1.0 版本。其次，他们过于注重机制，却导致使用起来十分繁琐（以至于他们自己的配置说明都难以理解）。

mistral.rs 0.7.0：现已在 crates.io 上发布！纯 Rust 编写的快速灵活的 LLM 推理引擎。

大家好！很高兴与大家分享 mistral.rs v0.7.0 版本，以及一个重大消息：这是第一个在 crates.io ( https://crates.io/crates/mistralrs ) 上发布的 Rust crate 版本。

GitHub：https://github.com/EricLBuehler/mistral.rs

mistral.rs是什么？

一个用 Rust 编写的快速、可移植的 LLM 推理引擎。支持 CUDA、Metal 和 CPU 后端。可运行文本、视觉、扩散、语音和嵌入模型，并支持 PagedAttention、量化（ISQ、UQFF、GGUF、GPTQ、AWQ、FP8）、LoRa/X-LoRa 适配器等功能。

0.7.0 版本新增内容

• crates.io **发布！**简洁、简化的 SDK API，方便您将其嵌入到自己的项目中。
• **全新命令行界面：**功能齐全的命令行界面，内置聊天界面、OpenAI 服务器、MCP 服务器，以及一个可自动为您的硬件找到最佳量化设置的调优命令。安装地址：https://crates.io/crates/mistralrs-cli
• 高度可配置的 CLI： TOML 配置文件，实现可复现的设置。

Performance:

• PagedAttention 的前缀缓存（对多轮/RAG 架构非常重要）
• 自定义融合 CUDA 内核（GEMV、GLU、分块 FP8 GEMM）
• 金属优化和稳定性改进

New Models

• 文本： GLM-4、GLM-4.7 Flash、Granite Hybrid MoE、GPT-OSS、SmolLM3、Ministral 3
• 视觉： Gemma 3n、Qwen 3 VL、Qwen 3 VL MoE
• 嵌入： Qwen 3 嵌入，嵌入 Gemm

From 日报小组 时光

社区学习交流平台订阅：

Rustcc论坛: 支持rss 微信公众号：Rust语言中文社区