lithbitren 发表于 2025-04-01 14:14
Tags:ai,ai agent,MCP
能否通过自动抽取需求里必要的文档内容来降低api幻觉的概率?最好消耗的token能低点的。
想想看其实官方如果能实现是最好的,提了个issue,不知道管不管用。
https://github.com/rust-lang/docs.rs/issues/2808
嗯看了感觉还行,不过这个主要是靠访问docs.rs来实现的,有时候时候std更新也会出现幻觉,比如simd,不在提示词里强调基本不会用新的api。
如果服务器是自用的话,还有优化空间:
一来,是可以缓存,一般用到的api大概率没有不会太多,几十几百个缓存完全占不了几个空间; 二来,如果是本地调用llm api的话,可以考虑现在cargo缓存里找; 三来,如果docs.rs和std有没有json版的api就好了。
-- 👇 kingzcheung: 收藏过一个: https://github.com/d6e/cratedocs-mcp
收藏过一个: https://github.com/d6e/cratedocs-mcp
搞一个本地LLM,token无限。
评论区
写评论想想看其实官方如果能实现是最好的,提了个issue,不知道管不管用。
https://github.com/rust-lang/docs.rs/issues/2808
嗯看了感觉还行,不过这个主要是靠访问docs.rs来实现的,有时候时候std更新也会出现幻觉,比如simd,不在提示词里强调基本不会用新的api。
如果服务器是自用的话,还有优化空间:
一来,是可以缓存,一般用到的api大概率没有不会太多,几十几百个缓存完全占不了几个空间; 二来,如果是本地调用llm api的话,可以考虑现在cargo缓存里找; 三来,如果docs.rs和std有没有json版的api就好了。
--
👇
kingzcheung: 收藏过一个: https://github.com/d6e/cratedocs-mcp
收藏过一个: https://github.com/d6e/cratedocs-mcp
搞一个本地LLM,token无限。