我从用 Rust 构建代理服务器到为 AI 构建数据平面，最终获得价值 25 万美元的财富 500 强客户
这个故事讲述了从用 Rust 构建代理服务器到开发 AI 数据平面的旅程，最终赢得了一家财富 500 强客户的 25 万美元合同。
最初，作者开发了一个 Rust 代理服务器，用于在应用程序和大型语言模型（LLM）之间处理路由、日志记录和集成。随着时间推移，功能不断扩展，包括透明添加可观测性、管理模型故障回退、支持本地和托管模型等。这些基础设施工作逐渐演变成一个独立的层，成为任何需要与模型交互的可靠、通用的基础设施层。
随后，作者与一家财富 500 强团队合作，该团队已经构建了一些早期的智能代理演示，但在将其推向生产时遇到了困难。他们需要的不仅仅是更好的方式将提示发送到 LLM，而是更好地处理和路由传入的提示。每个用户消息都需要被理解，以防止恶意行为，并路由到专注于不同任务的专家代理。这需要一个智能的语言感知路由器，类似于云原生应用中的负载均衡器，但专门为提示设计，而不仅仅是网络流量。
于是，项目再次演变。作者的联合创始人曾在 Lyft 构建 Envoy（一个支持容器化应用的边缘和服务代理），他们决定将流量设计扩展到代理之间。他们构建了一个通用的 AI 数据平面，与特定任务的 LLM 集成，以处理代理之间的低级决策。
最终，这种设计非常适合，帮助他们的开源项目赢得了 25 万美元的合同，并推动项目发展到今天。这个项目已经开源，仍在不断演进，作者希望继续与企业客户合作成长。
仓库：https://github.com/katanemo/archgw
Reddit：https://www.reddit.com/r/rust/comments/1m15e5t/my_wild_ride_from_building_a_proxy_server_in_rust/
Sdr Podcast：traceability
在本期 SDR Podcast 中，James Munns 讨论了软件可追溯性工具的概念，这类工具在安全关键软件开发中非常重要。
他希望有一种开源的可追溯性工具，能够将需求、代码和测试紧密联系起来，同时提供良好的用户体验。James 强调，虽然 Rust 社区已经重视文档、代码和测试的结合，但目前缺乏能够将这些元素有效关联起来的工具。
他提出，如果有一种工具能够在代码更新时自动检查相关文档和测试是否仍然准确，将大大提高开发效率和软件质量。
收听/阅读：https://sdr-podcast.com/episodes/traceability/#transcript
Sdr Podcast：HTML5 video
本期 SDR Podcast 中，Amos Wenger 探讨了在浏览器中使用 HTML5 视频的最佳实践。
他分享了自己在视频编码设置上的经验，包括如何选择合适的比特率和编解码器。Amos 详细介绍了如何利用现代图像和视频格式（如 JPEG XL、AVIF 和 WebP）来优化性能和质量。
他还讨论了如何通过 ffmpeg 和 Rust 实现高效的视频处理和转码。此外，Amos 展示了如何通过自定义的 CDN 和服务器架构，实现全球范围内的视频分发。
最后，他还探讨了如何解决视频封面图与视频播放时的颜色差异问题。
收听/阅读：https://sdr-podcast.com/episodes/html5-video/#transcript
Sdr Podcast：All you need is three iPhones
Amos 分享了他用于制作 fasterthanlime 频道视频的音频、视频和灯光设备。
他从早期使用网络摄像头和 Logitech C920 开始，逐渐升级到更专业的设备，包括 Panasonic Lumix DC-GH5 相机、RØDE NT1-A 麦克风和 Zoom H4n Pro Black 录音机。
他还尝试了多种灯光设备，最终选择了适合小空间的 LED 面板灯。Amos 强调了灯光的重要性，并分享了如何通过 iPhone 实现高效的视频录制和监控。
他目前使用三部 iPhone：一部作为提词器、一部作为相机、一部作为监视器，通过 Blackmagic Cloud 实现媒体管理和同步。
收听/阅读：https://sdr-podcast.com/episodes/all-you-need-is-three-iphones/#transcript
讨论：是什么让你对 Rust 产生了兴趣？
“对我来说，关键在于 Rust 如何处理空指针和系统级错误。Kotlin 改进了 Java 的空指针安全性，但仍然可能搬起石头砸自己的脚。而 Rust 则强制你在编译时显式处理可选值和潜在的错误。”
Reddit：https://www.reddit.com/r/rust/comments/1m4f9ur/kotlin_only_treats_the_symptoms_of_null_pointers/
--
From 日报小组 苦瓜小仔
社区学习交流平台订阅：
评论区
写评论还没有评论