智谱公布GLM-5底层基础设施重大工程进展,系统吞吐最高提升132%
4月30日,澎湃新闻记者从智谱方面获悉,随着大模型应用从简单对话全面转向更复杂的、更长程的Coding Agent任务,推理基础设施迎来前所未有的压力,每天承受着数亿次Coding Agent调用。部分用户在使用GLM-5系列模型执行复杂Coding Agent任务时,遭遇多种异常:乱码、复读,以及偶现的生僻字。
在底层基础设施上,智谱实现重大工程进展,系统吞吐最高提升132%,相同硬件条件下服务能力的显著扩容。KV cache xxx修复方案获SGLang开源社区采纳,此外,公司推理优化还在进一步加速,大幅提升单位算力token吞吐效率,降低推理成本。(澎湃新闻记者 范佳来)
@林火季:久久96,男子与同事大打出手致其1个月后死亡@林素侑:老外们在华强北疯狂下单
@刘建宇:彩民花18元中2576万大奖
热门排行
- 1 挺进老奶的肉泬m48
- 2 日本xxxxxx
- 3 小 伸进 九幺看片的视频
- 4 久久鲁欧美
- 5 一级黄色电影网站
- 6 美女网站黄
- 7 忘川49
- 8 色色好s
- 9 女人被艹高潮的APP