< 返回版块

Mike Tang 发表于 2024-07-10 02:44

如何充分地测试并发数据结构

并发测试一直是难题,如何随机构造一个并发场景,对模型做充分测试,作者带领我们从入门开始一步一步构建。

https://matklad.github.io/2024/07/05/properly-testing-concurrent-data-structures.html

Michael Yuan - 使用Rust和Wasm做可移植的LLM推理应用

Michael 在 Apache LambdaConf 上的分享

https://www.youtube.com/watch?v=uqYj7auwOzk

基于candle实现的一个LLM语音聊天服务

基于8位量化GGUF提供服务。注意,这是一个语音聊天服务,不是文本。

基于candle和axum实现。

https://moshi.chat/

--

From 日报小组 Mike

社区学习交流平台订阅:

评论区

写评论
BurtonQin 2024-07-16 09:25

candle真是越来越火了,就是不知道性能比pytorch如何

1 共 1 条评论, 1 页