手机上能跑的 GPT-4V！面壁发布端侧最强多模态小钢炮 2.6，实时视频理解首次上端

过去半年，大模型的风向悄然变迁，与以往不断追求规模的趋势不同，更小更强的端侧模型成了当下的香饽饽。

前不久，在遭斯坦福大学 AI 团队抄袭后，国内头部大模型厂商面壁智能狠狠地刷了一波存在感，也让国内外见识到了这家公司在 AI 领域的不凡实力。

今天，面壁智能重磅上新了「小钢炮」MiniCPM-V 2.6 模型，再次将端侧多模态能力提升到了一个新的高度。

尽管该模型仅有 8B 参数，但它在 20B 以下单图、多图、视频理解 取得了 3 SOTA 成绩，一举将端侧 AI 多模态能力拉升至全面对标超越 GPT-4V 水平。

简单划重点：

• 首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V，单图理解越级比肩 Gemini 1.5 Pro 和 GPT-4o mini。
• 引入实时视频理解、多图联合、ICL 视觉学习、OCR 等，开启端侧模型真实世界观察与学习。
• 小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度。视觉 token 相比上一代下降 30% ，比同类模型低 75%。
• 量化后端侧内存仅占 6 GB；端侧推理速度高达 18 tokens/s，相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理；且支持多种语言。

「长眼睛」的实时视频理解首次上端，让智能设备更懂你

先来感受一下 MiniCPM-V 2.6 模型的实际演示效果。

视频中显示，在多模态能力的加持下，MiniCPM-V 2.6 犹如长了一双「眼睛」，能够实时看到真实世界。在开启飞行模式的情况下，搭载该模型的端侧设备能够精准地识别面壁智能公司的室内场景。

从面壁智能公司的 Logo、到植物、办公桌、饮水机等物品，MiniCPM-V 2.6 的物品识别能力表现得毫无压力，甚至可以说是游刃有余。

面对小票繁多的记账或报销流程，只需拍照上传至 MiniCPM-V 2.6，它不仅能够识别出每张小票的具体金额，还能计算出总和，极大地简化了整个流程。

得益于其先进的 OCR 和 CoT（思维链）技术，MiniCPM-V 2.6 不仅能准确捕捉小票上的金额，还能以清晰简洁的方式呈现解题过程：

对于「太长不看」的视频，现在你可以直接让该模型为你提炼关键信息。

比如面对一段 1 分钟左右的天气预报视频，MiniCPM-V 2.6 可以在无声的条件下，用「肉眼」识别并描述不同城市的具体天气情况。

MiniCPM-V 2.6 的端侧多模态复杂推理能力也有所「长进」。

以 GPT-4V 经典的官方演示——调整自行车车座为例，MiniCPM-V 2.6 能通过多轮对话清晰指导用户调低自行车车座，并根据说明书和工具箱推荐合适的工具。

又或者， 2G 网速的你看不懂年轻人广为传播的梗图，那不妨让其耐心地给你解释梗图背后的槽点。

甚至它还能比人类更有幽默细胞，捕捉到梗图中的潜台词。作为程序员的你也许看着这张图，笑着笑着就哭了。

以小胜大，MiniCPM-V 2.6 号称三合一最强端侧多模态

以小博大，是端侧模型的核心竞争力。

据面壁智能官方介绍，在 MiniCPM-V 2.6 的知识压缩率方面，MiniCPM-V 2.6 取得了两倍于 GPT-4o 的最高多模态大模型像素密度（Token Density）。

Token Density = 编码像素数量 / 视觉 token 数量，是指单个 token 承载的像素密度即图像信息密度，直接决定了多模态模型实际的运行效率，数值越大，模型运行效率越高。

闭源模型的 Token Density 由 API 收费方式估算得到。结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的，延续了其一贯的极致高效特点。

从分享的基准测试结果来看， MiniCPM-V 2.6 在综合评测权威平台 OpenCompass 上，单图理解能力越级超越 Gemini 1.5 Pro 和 GPT-4o mini。

在多图评测平台 Mantis-Eval 榜单上，MiniCPM-V 2.6 多图联合理解能力实现开源模型 SOTA ，且超越 GPT-4V。在视频评测平台 Video-MME 榜单上，MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA，超越 GPT-4V。

▲OpenCompass | Mantis-Eval | Video-MME 榜单成绩

此外，MiniCPM-V 2.6 OCR 性能在 OCRBench 上实现开源+闭源模型 SOTA。

在幻觉评测榜单 Object HalBench 上，MiniCPM-V 2.6 的幻觉水平（幻觉率越低越好）也都优于 GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。

▲Obiect HalBench | OCRBench 榜单成绩

新一代小钢炮 MiniCPM-V 2.6 交出优秀成绩单的背后，主要归功于其采用了统一高清视觉架构。

官方表示，统一高清视觉框架，不仅继承了传统单图的多模态优势功能，更实现了一通百通。

例如，OCR SOTA 能力 将 MiniCPM-V 单图场景的「180 万高清图像解析」进行能力迁移和知识共享，无缝拓展至多图场景和视频场景，并将这三种视觉理解场景统一形式化为图文交替的语义建模问题，共享底层视觉表示机制，实现相比同类型模型，视觉 token 数量节省超过 75% 。

在 OCR 信息提取的基础上，MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT（思维链）的复杂推理。

以 2008 年奥运会为例，该模型能够计算出获得金牌数最多的三个国家共获得的金牌总数。

[图片]

这一过程包括：

1.  利用 OCR 能力识别并提取奖牌榜中金牌数量的前三名国家；
2.  将这三个国家的金牌总数进行相加。

在 AI 可信度方面，MiniCPM-V 2.6 以 8.2% 的幻觉率，延续了小钢炮系列的传统优势。此外，面壁 RLAIF-V 的对齐技术，以及 Ultra 系列对齐技术的应用等技术也都是藏在 MiniCPM-V 2.6 背后的黑科技。

官方数据显示，小钢炮系列下载量已破百万。从开启端侧部署，多模态能力先河，到最强端侧多模态模型，再到端侧全面对标 GPT-4V 的新时代，面壁智能只用了短短半年的时间。

「聪明、流畅，快得不像一款端侧模型！」这句话，是对小钢炮系列最贴切的描述。

给面壁智能更多时间、也给国内场外大模型厂商更多时间，我们坚信未来面壁智能将继续推出更多优质的端侧 AI 模型，与国内外大模型厂商一同推动端侧 AI 的发展。

而在这个过程中，独立开发者和普通用户将成为最大的受益者。

最后附上 MiniCPM-V 2.6 开源地址：

GitHub https://ift.tt/RrFnm84
HuggingFace: https://ift.tt/PEQISwp

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博

from 爱范儿 https://ift.tt/bEkDz40
via IFTTT