独家 | 跳出 Transformer 主流范式,复旦大学陈曦创业成立「深度汇贤」
Feature Reading

独家 | 跳出 Transformer 主流范式,复旦大学陈曦创业成立「深度汇贤」

通过更稳定的阅读版式、清楚的信息提示与推荐衔接,让文章阅读过程更加完整,也更容易延展到相关主题。

Article View

整合正文阅读、相关推荐与侧栏检索,保持浏览流程连贯

K8体育即时比分 396 阅读 约 5.5 分钟

Transformer 之外的架构新探索。 作者丨张贤 编辑丨岑峰 AI 科技评论独家获悉,复旦大学人工智能创新与产业研究院教授、博导陈曦近期已启动创业,新公司名为“深度汇贤”,公司的核心技术主线聚焦“Diffusion+RNN”的融合架构。 (本文作者长期关注具身赛道上下游,欢迎添加微信交流:zhangxian2021) 公开信息显示,陈曦曾任职剑桥卡文迪许实验室、英国巴斯大学。2024 年,陈曦加入复旦 AI³ 院,担任人工智能创新与产业研究院教授。 研究方向上,陈曦致力于在贝叶斯推断框架下研究领域知识驱动的概率建模、统计机器学习与大模型/多智能体方法,探索下一代 小参数量基础模型架构 、智能体自进化方法、多智能体隐空间协作机制等。构建面向复杂科学问题的可靠基础模型与智能体架构,并服务AI4S、科学发现、生命科学、临床医学和工程科学等交叉学科场景。本次创业,也是其从学术研究走向工程化落地的重要一步。 当前,大模型赛道在持续探索 Transformer 之外的备选架构,“Diffusion+RNN”属于小众、偏底层的融合技术路线。 区别于 Transformer 的全局注意力范式,Diffusion RNN 是一条融合扩散模型与循环状态记忆的底层序列建模路线。扩散模型并非自回归逐 Token 生成,而是从噪声出发经由多轮去噪迭代完成生成,可控性强、概率建模能力突出,存在显存开销高、推理速度偏慢的短板。而RNN 循环结构依靠持续更新的隐状态承载记忆,适配长序列与流式输入,缺点是可控生成能力不足。 “Diffusion+RNN”将两者结合,以循环结构负责长程记忆与线性递推,借助扩散过程实现概率采样与迭代修正,目标是在固定显存的约束条件下兼顾长上下文能力与可控生成优势。 据了解,深度汇贤项目还处于早期阶段,已经有部分投资机构正在接触并参与投资。 未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载! 公众号

about image

觉得有用?分享给朋友

让更多人看到这篇内容