< 返回版块

Mike Tang 发表于 2025-01-13 18:37

🎉 diffusion-rs v0.1.0 发布:极速扩散模型推理工具!

diffusion-rs 是一款旨在简化扩散模型运行的工具,原生支持 Hugging Face 的新 DDUF 格式。扩散模型作为生成式 AI 的一种,广泛应用于图像合成和视频生成领域,而 diffusion-rs 的目标是让这些强大的技术更易于使用。它提供无缝的 Rust 集成,通过原生 crate (diffusion_rs_core) 将 AI 功能嵌入项目,同时支持命令行工具 (diffusion_rs_cli) 和 Python 包,满足不同开发需求。

核心功能包括量化支持(fp4、nf4、int8),通过 CUDA 和 Apple Metal 提升性能;跨平台兼容 Apple Silicon 和 NVIDIA GPU;支持大模型分片加速,优化不适合显存的模型推理;并对 Hugging Face 的 DDUF 格式提供一流支持。这一工具为 Rust 社区带来了便捷、高效的扩散模型解决方案,期待用户反馈!

GitHub:https://github.com/EricLBuehler/diffusion-rs

Harper:一款恰到好处的英语语法检查工具

我创建 Harper,是因为多年来使用其他语法检查工具时感到诸多不足。

Grammarly 太贵且过于干扰用户,其建议缺乏上下文,常常出错。更糟糕的是,它对隐私的威胁令人担忧——所有输入都会被发送到他们的服务器。他们的隐私政策声称不会出售数据,但无法保证这些数据不会被用于训练大型语言模型或其他用途。此外,网络请求的延迟让修改工作变得更加繁琐。

LanguageTool 表现不错,但需要大量内存(数 GB),还要下载约 16GB 的 n-gram 数据集。除了内存需求外,我发现它速度太慢,甚至处理中等大小的文档都需要几秒钟。

Harper 应运而生,完全满足我的需求。它不仅能在毫秒级内完成文档检查,占用内存不到 LanguageTool 的 1/50,而且完全保护用户隐私。

更令人惊喜的是,Harper 体积小到可以通过 WebAssembly 加载。

--

From 日报小组 Mike

社区学习交流平台订阅:

评论区

写评论

还没有评论

1 共 0 条评论, 1 页