2024年8月6日星期二

手机上能跑的 GPT-4V!面壁发布端侧最强多模态小钢炮 2.6,实时视频理解首次上端

过去半年,大模型的风向悄然变迁,与以往不断追求规模的趋势不同,更小更强的端侧模型成了当下的香饽饽。

前不久,在遭斯坦福大学 AI 团队抄袭后,国内头部大模型厂商面壁智能狠狠地刷了一波存在感,也让国内外见识到了这家公司在 AI 领域的不凡实力。

今天,面壁智能重磅上新了「小钢炮」MiniCPM-V 2.6 模型,再次将端侧多模态能力提升到了一个新的高度。

尽管该模型仅有 8B 参数,但它在 20B 以下单图、多图、视频理解 取得了 3 SOTA 成绩,一举将端侧 AI 多模态能力拉升至全面对标超越 GPT-4V 水平。

简单划重点:

  • 首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V,单图理解越级比肩 Gemini 1.5 Pro 和 GPT-4o mini。
  • 引入实时视频理解、多图联合、ICL 视觉学习、OCR 等,开启端侧模型真实世界观察与学习。
  • 小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度。视觉 token 相比上一代下降 30% ,比同类模型低 75%。
  • 量化后端侧内存仅占 6 GB;端侧推理速度高达 18 tokens/s,相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言。

「长眼睛」的实时视频理解首次上端,让智能设备更懂你

先来感受一下 MiniCPM-V 2.6 模型的实际演示效果。

视频中显示,在多模态能力的加持下,MiniCPM-V 2.6 犹如长了一双「眼睛」,能够实时看到真实世界。在开启飞行模式的情况下,搭载该模型的端侧设备能够精准地识别面壁智能公司的室内场景。

从面壁智能公司的 Logo、到植物、办公桌、饮水机等物品,MiniCPM-V 2.6 的物品识别能力表现得毫无压力,甚至可以说是游刃有余。

面对小票繁多的记账或报销流程,只需拍照上传至 MiniCPM-V 2.6,它不仅能够识别出每张小票的具体金额,还能计算出总和,极大地简化了整个流程。

得益于其先进的 OCR 和 CoT(思维链)技术,MiniCPM-V 2.6 不仅能准确捕捉小票上的金额,还能以清晰简洁的方式呈现解题过程:

对于「太长不看」的视频,现在你可以直接让该模型为你提炼关键信息。

比如面对一段 1 分钟左右的天气预报视频,MiniCPM-V 2.6 可以在无声的条件下,用「肉眼」识别并描述不同城市的具体天气情况。

MiniCPM-V 2.6 的端侧多模态复杂推理能力也有所「长进」。

以 GPT-4V 经典的官方演示——调整自行车车座为例,MiniCPM-V 2.6 能通过多轮对话清晰指导用户调低自行车车座,并根据说明书和工具箱推荐合适的工具。

又或者, 2G 网速的你看不懂年轻人广为传播的梗图,那不妨让其耐心地给你解释梗图背后的槽点。

甚至它还能比人类更有幽默细胞,捕捉到梗图中的潜台词。作为程序员的你也许看着这张图,笑着笑着就哭了。

以小胜大,MiniCPM-V 2.6 号称三合一最强端侧多模态

以小博大,是端侧模型的核心竞争力。

据面壁智能官方介绍,在 MiniCPM-V 2.6 的知识压缩率方面,MiniCPM-V 2.6 取得了两倍于 GPT-4o 的最高多模态大模型像素密度(Token Density)。

Token Density = 编码像素数量 / 视觉 token 数量,是指单个 token 承载的像素密度即图像信息密度,直接决定了多模态模型实际的运行效率,数值越大,模型运行效率越高。

闭源模型的 Token Density 由 API 收费方式估算得到。结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的,延续了其一贯的极致高效特点。

从分享的基准测试结果来看, MiniCPM-V 2.6 在综合评测权威平台 OpenCompass 上,单图理解能力越级超越 Gemini 1.5 Pro 和 GPT-4o mini。

在多图评测平台 Mantis-Eval 榜单上,MiniCPM-V 2.6 多图联合理解能力实现开源模型 SOTA ,且超越 GPT-4V。在视频评测平台 Video-MME 榜单上,MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA,超越 GPT-4V。

▲OpenCompass | Mantis-Eval | Video-MME 榜单成绩

此外,MiniCPM-V 2.6 OCR 性能在 OCRBench 上实现开源+闭源模型 SOTA。

在幻觉评测榜单 Object HalBench 上,MiniCPM-V 2.6 的幻觉水平(幻觉率越低越好)也都优于 GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。

▲Obiect HalBench | OCRBench 榜单成绩

新一代小钢炮 MiniCPM-V 2.6 交出优秀成绩单的背后,主要归功于其采用了统一高清视觉架构。

官方表示,统一高清视觉框架,不仅继承了传统单图的多模态优势功能,更实现了一通百通。

例如,OCR SOTA 能力 将 MiniCPM-V 单图场景的「180 万高清图像解析」进行能力迁移和知识共享,无缝拓展至多图场景和视频场景,并将这三种视觉理解场景统一形式化为图文交替的语义建模问题,共享底层视觉表示机制,实现相比同类型模型,视觉 token 数量节省超过 75% 。

在 OCR 信息提取的基础上,MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT(思维链)的复杂推理。

以 2008 年奥运会为例,该模型能够计算出获得金牌数最多的三个国家共获得的金牌总数。

[图片]

这一过程包括:

  1.  利用 OCR 能力识别并提取奖牌榜中金牌数量的前三名国家;
  2.  将这三个国家的金牌总数进行相加。

在 AI 可信度方面,MiniCPM-V 2.6 以 8.2% 的幻觉率,延续了小钢炮系列的传统优势。此外,面壁 RLAIF-V 的对齐技术,以及 Ultra 系列对齐技术的应用等技术也都是藏在 MiniCPM-V 2.6 背后的黑科技。

官方数据显示,小钢炮系列下载量已破百万。从开启端侧部署,多模态能力先河,到最强端侧多模态模型,再到端侧全面对标 GPT-4V 的新时代,面壁智能只用了短短半年的时间。

「聪明、流畅,快得不像一款端侧模型!」这句话,是对小钢炮系列最贴切的描述。

给面壁智能更多时间、也给国内场外大模型厂商更多时间,我们坚信未来面壁智能将继续推出更多优质的端侧 AI 模型,与国内外大模型厂商一同推动端侧 AI 的发展。

而在这个过程中,独立开发者和普通用户将成为最大的受益者。

最后附上 MiniCPM-V 2.6 开源地址:

GitHub🔗 https://ift.tt/RrFnm84
HuggingFace: 🔗 https://ift.tt/PEQISwp

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博




from 爱范儿 https://ift.tt/bEkDz40
via IFTTT

没有评论:

发表评论