华人团队推出Medusa简单框架 LLM推理提速2倍

据新智元报道,来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型(LLM)推理速度的简单框架Medusa,并于今日开源发布。测试结果显示,Medusa可以将LLM的生成效率提高约2倍。
Github开源地址:
https://github.com/FasterDecoding/Medusa
项目主页:
https://sites.google.com/view/medusa-llm

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
本网站由提供CDN加速/云存储服务