< 返回版块

Mike Tang 发表于 2024-09-09 02:55

Sharad Ratatui - 使用ratatui实现的一个基于文本的角色扮演游戏

亮点是利用OpenAI 的API来实现NPC对话。

https://github.com/prohaller/sharad_ratatui/

sail - 流处理引擎,完全兼容PySpark,比Spark快4倍,硬件消耗低 94%

Sail的使命是统一流处理、批处理和计算密集型(AI)工作负载。目前,Sail在单进程环境下提供了Spark SQL和Spark DataFrame API的即插即用替代方案。

补充解释:

  1. "流处理"指的是实时处理持续输入的数据。
  2. "批处理"是指处理一批已收集的数据。
  3. "计算密集型工作负载"通常指需要大量计算资源的任务,如AI/机器学习任务。
  4. "即插即用替代方案"意味着用户可以轻松地用Sail替换现有的Spark SQL和DataFrame API,而无需大幅修改代码。
  5. "单进程环境"表示Sail目前专注于在单个计算进程中运行,而不是分布式系统。

https://github.com/lakehq/sail

NviWatch - GPU监视器

https://github.com/msminhas93/nviwatch

--

From 日报小组 Mike

社区学习交流平台订阅:

评论区

写评论
asuper 2024-09-18 10:04

简单看了下代码,sail-spark-connect这个crate似乎是封装了对Apache Spark的调用,也就是和PySpark同样的底层引擎,那么性能差距这么大,只能解释为PySpark写的太水、或者Python机制上处理这种问题太拉跨。。。

PS: 我没有贬低以上两者的意思。

--
👇
willingcoderverytime: 牛逼,但是94% 这么从合而来啊! 参与过一个flink小改的项目,java写的流软件业没这么差吧!那会都还是jdk8,gc时间控制能控制到运行时间的15%,那抢出来的60%性能那里来的,内存交互和跑栈?!,这还没算硬件消耗降低百分之94,算了就是近80被的性能提升。 有这么牛逼么,感觉有点搞啊!!!!!!

willingcoderverytime 2024-09-17 00:41

牛逼,但是94% 这么从合而来啊! 参与过一个flink小改的项目,java写的流软件业没这么差吧!那会都还是jdk8,gc时间控制能控制到运行时间的15%,那抢出来的60%性能那里来的,内存交互和跑栈?!,这还没算硬件消耗降低百分之94,算了就是近80被的性能提升。 有这么牛逼么,感觉有点搞啊!!!!!!

1 共 2 条评论, 1 页