科技中国

AI
业界 手机 电脑 数码 智车 AI 苹果 直播
当前位置: 首页 > AI > 正文

英伟达发布 Eagle 2.5 视觉语言AI大模型:8B参数堪比GPT-4o

2025-04-24 09:47:12 来源:IT之家 A+A-

4 月 23 日消息,科技媒体 mARktechpost 昨日(4 月 22 日)发布博文,报道称英伟达最新推出 Eagle 2.5,一款专注于长上下文多模态学习的视觉-语言模型(VLM)。

该模型专注于理解大规模视频和图像,尤其擅长处理高分辨率图像和长视频序列。尽管参数规模仅为 8B,Eagle 2.5 在 Video-MME 基准测试(512 帧输入)中得分高达 72.4%,媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大规模模型。

创新训练策略

Eagle 2.5 的成功离不开两项关键训练策略:信息优先采样(Information-First Sampling)和渐进式后训练(PROGressive Post-TrAIning)。

信息优先采样通过图像区域保留(IAP)技术,保留超过 60% 的原始图像区域,同时减少宽高比失真;自动降级采样(ADS)则根据上下文长度动态平衡视觉和文本输入,确保文本完整性和视觉细节的优化。

渐进式后训练逐步扩展模型上下文窗口,从 32K 到 128K token,让模型在不同输入长度下保持稳定性能,避免过拟合单一上下文范围。这些策略结合 SigLIP 视觉编码和 MLP 投影层,确保了模型在多样化任务中的灵活性。

定制数据集

Eagle 2.5 的训练数据管道,整合了开源资源和定制数据集 Eagle-Video-110K,该数据集专为理解长视频设计,采用双重标注方式。

自上而下的方法采用故事级分割,结合人类标注章节元数据、GPT-4 生成的密集描述;自下而上的方法则利用 GPT-4o 为短片段生成问答对,抓取时空细节。

通过余弦相似度(cosine similarity)筛选,数据集强调多样性而非冗余,确保叙事连贯性和细粒度标注,显著提升了模型在高帧数(≥128 帧)任务中的表现。

性能表现

Eagle 2.5-8B 在多项视频和图像理解任务中表现出色。在视频基准测试中,MVBench 得分为 74.8,MLVU 为 77.6,LongVideoBench 为 66.4;在图像基准测试中,DocVQA 得分为 94.1,ChartQA 为 87.5,InfoVQA 为 80.4。

消融研究(Ablation studies)表明,IAP 和 ADS 的移除会导致性能下降,而渐进式训练和 Eagle-Video-110K 数据集的加入则带来更稳定的提升。

附上参考地址

  • Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

  • GitHub 页面

  • 项目页面

(责任编辑:Diy92)

推荐阅读 相关文章

谷歌推出Vertex AI Media Studio文生视频套件:自动包办画面渲染、旁白、配乐等

4 月 10 日消息,谷歌今天(4 月 10 日)推出 Vertex AI Media Studio 平台,该套件支持文...[详细]

2025-04-11 07:44:56

广东公布中小学AI教育方针:原则上1-4年级每年不少于6课时

4 月 10 日消息,据南方日报今日报道,广东省新闻办与省教育厅在新闻发布会上正式发布...[详细]

2025-04-11 07:44:56

得州大学奥斯汀分校开发新型AI智能体 Metamon:能跟人一样玩宝可梦

4 月 10 日消息,据外媒 ASCII 今日报道,美国得克萨斯大学奥斯汀分校的 Yuke Zhu 助...[详细]

2025-04-11 07:44:56

中国首个高速动车组空气动力学智能化仿真大模型问世

3 月 27 日消息,据中国中车今日消息,2025 年 3 月,中国高速动车组空气动力学智能化仿真大模型在青岛成功问世,推...[详细]

2025-03-28 07:30:56

人形机器人为黄仁勋递上皮衣,1X、英伟达联手搞动作

3 月 27 日消息,近日在 1X Technologies 位于旧金山的总部,其研发的 NEO Gamma 人形机器人向来访的英伟达首席...[详细]

2025-03-28 07:30:56

支持全球首个原彩 ProXDR 实况功能,OPPO Find X8 Ultra 手机获得 ColorOS 15.0.1.407 重大升级

4 月 29 日消息,据 OPPO Find 系列产品负责人周意保分享,OPPO Find X8 Ultra 手机现...[详细]

2025-04-29 07:43:48

量产无望,据称苹果 iPhone 17 Pro/Max超强抗刮防反射涂层计划估计泡汤

4 月 29 日消息,科技媒体 MacRumors 今天(4 月 29 日)发布博文,据可靠消息来源透露,苹...[详细]

2025-04-29 07:43:48

据称苹果 iPhone 17 正式完成EVT工程验证测试试验,已经达到量产前关键里程碑

4 月 29 日消息,DigiTimes 一篇付费文章显示,苹果已完成至少一款 iPhone 17 机型的...[详细]

2025-04-29 07:43:48

苹果 iOS/iPadOS 18.5 开发者预览版 Beta 4 正式上线

【点此直达升级教程】4 月 29 日消息,苹果今日向 iPhone 和 iPad 用户推送了 iOS /...[详细]

2025-04-29 07:43:48

Nothing CMF Phone 2 Pro 手机正式发售:模块化镜头设计,最低250欧元起

4 月 28 日消息,今日 Nothing 的子品牌 CMF 正式推出了其首款 Pro 系列手机 ——CM...[详细]

2025-04-29 07:43:48

联系方式