Raddy - 用于稠密和稀疏问题的自动微分系统

示例：

use raddy::make::var;
use rand::{thread_rng, Rng};

fn example_scalar() {
    // 1. Scalar
    let mut rng = thread_rng();
    let val = rng.gen_range(0.0..10.0);

    let x = var::scalar(val);
    let x = &x; // Please read the Note section in README.
    let y = x.sin() * x + x.ln();

    dbg!(y.grad()[(0, 0)]);
    dbg!(y.hess()[(0, 0)]);
}

https://github.com/Da1sypetals/raddy

Arch - 构建快速、可观察且个性化的 AI 代理

Arch 是一个智能的第七层网关，旨在通过您的 API 保护、观察并个性化 AI 代理。

借助专为此目的设计的大型语言模型（LLMs），Arch 处理与提示处理相关的重要但非差异化任务，包括检测并拒绝越权（jailbreak）尝试、智能调用“后端”API以满足提示中的用户请求、在上游 LLM 之间进行路由与故障恢复，以及集中管理提示和 LLM API 调用的可观察性。

Arch 基于 Envoy Proxy 构建，并由其核心贡献者开发，秉承以下理念：

prompt是一种复杂且不透明的用户请求，需具备传统 HTTP 请求的能力，如安全处理、智能路由、强大的可观察性，以及与后端（API）系统集成以实现个性化——这一切无需嵌入业务逻辑。

核心功能：

• 基于 Envoy 构建：Arch 作为一个独立的容器化进程运行在应用服务器旁，继承了 Envoy 在 HTTP 管理和可扩展性方面的成熟功能，处理与提示和 LLM 相关的流入和流出流量。
• 意图路由与快速函数调用：通过专用 LLM，Arch 高效处理基于提示的任务，如函数/API 调用，以及从提示中提取参数，帮助构建更智能、更精准的代理应用。
• 提示防护：Arch 集中管理安全机制，无需编写代码即可防止越权尝试，确保用户交互安全。
• 路由与流量管理：Arch 集中管理应用程序对 LLM 的调用，提供智能重试、自动切换以及可靠的上游连接，确保持续可用性。
• 可观察性：Arch 采用 W3C Trace Context 标准，实现跨应用的完整请求追踪，兼容各类可观察性工具，并提供延迟、令牌使用量、错误率等监控指标，优化 AI 应用性能。

https://github.com/katanemo/archgw?tab=readme-ov-file

--

From 日报小组 Mike

社区学习交流平台订阅：

• Rustcc论坛: 支持rss
• 微信公众号：Rust语言中文社区