Paddler：开源的 LLMOps 平台，在其自有基础设施中托管和扩展开源模型

Paddler 是一个开源的 LLMOps 平台，旨在帮助企业在其自有基础设施中托管和扩展开源模型，满足隐私、可靠性、成本控制和独立于第三方供应商的需求。它具备以下关键特性：

• 内置 llama.cpp 引擎：支持推理服务，能够生成文本和嵌入向量。
• 负载均衡：通过动态添加代理实现，支持与自动扩展工具集成。
• 请求缓冲：允许从零主机开始扩展。
• 内置 Web 管理面板：用于管理、监控和测试，支持实时查看和测试 Paddler 设置。
• 可观测性指标：提供详细的性能和资源使用数据。

Paddler 适用于需要在产品中集成 LLM 推理和嵌入的产品团队、需要大规模运行和部署 LLM 的 DevOps/LLMOps 团队、处理敏感数据且有高合规性和隐私要求的组织（如医疗、金融等），以及希望实现可预测的 LLM 成本而非按 token 计价的组织。它还为产品领导者提供了可靠的模型性能，以维持基于 AI 的功能的稳定用户体验。

Paddler 的安装方式灵活，可以通过下载最新发布版本或从源代码构建来获取二进制文件。其工作原理简单易懂，包含两个主要组件：balancer 和 agents。balancer 提供推理服务、管理服务和 Web 管理面板，而 agents 负责将请求分配到 slots，生成 token 和嵌入向量。Paddler 还提供了详细的文档和 API 文档，帮助用户快速上手。

仓库：https://github.com/intentee/paddler

Reddit：https://www.reddit.com/r/rust/comments/1ml5ogd/i_just_rewrote_llamacpp_server_in_rust_most_of_it/

Ferriskey：开源 IAM 解决方案，旨在成为 Keycloak 的一个严肃替代品

v0.1.0 主要功能：

• ✅ OIDC / OAuth2
• 🏢 多租户领域
• 🔑 客户端与服务账户
• 👤 用户与角色映射
• 🔐 MFA（TOTP）与必需操作
• 🧮 位运算角色系统
• 📊 使用 Grafana 的可观测性

仓库：https://github.com/ferriskey/ferriskey

Reddit：https://www.reddit.com/r/rust/comments/1mkvspu/media_ferriskey_v010_an_opensource_iam_in_rust/

exhaustive-map：针对枚举体这种 Finite 类型的 map

use exhaustive_map::{Finite, FiniteExt};

#[derive(Finite, Debug, PartialEq)]
enum Color {
    Red,
    Green,
    Blue,
}

let all: Vec<_> = Color::iter_all().collect();
assert_eq!(all, vec![Color::Red, Color::Green, Color::Blue]);

仓库：https://github.com/tyilo/exhaustive-map

Reddit：https://www.reddit.com/r/rust/comments/1mkzqpi/exhaustivemap_an_exhaustive_map_for_types_with/

讨论：有没有类似 manim 的库来制作数学动画

Reddit：https://www.reddit.com/r/rust/comments/1mkuel7/manimlike_crate/

--

From 日报小组 苦瓜小仔

社区学习交流平台订阅：

• Rustcc论坛: 支持rss
• 微信公众号：Rust语言中文社区