编者按：苹果为最新的成像系统倾注了颇多心血，需要硬件、软件、神经引擎和数以万亿计的处理器计算，才能生成与单反效果相当的照片。
除特别说明外，所有照片均为 Pete Souza（白宫首席摄影师）拍摄。
就在苹果发布了一大堆新款 iPhone 和令人印象深刻的拍照功能后几分钟，我偶然发现著名摄影师 Pete Souza 在苹果公园游客中心外面。
看到他身边没有粉丝簇拥着，我还真有点诧异。我是相当欣赏 Souza 的摄影技巧和智慧的，见到他只身一人，我决定试探性地接近这位曾为两位总统——罗纳德 • 里根（Ronald Reagan）和巴拉克 • 奥巴马（Barack Obama）——任上拍过照的人。
「对不起，请问你是 Pete Souza 吗？」
Souza 正盯着他的 iPhone，想弄清楚 Lyft 司机在哪儿接他。他抬头看了看，在午后明媚的阳光下眯着眼睛说：「是的。」
Souza 后来在电话中告诉我，他是被苹果公司邀请参加 iPhone XS 发布会的，但不知道发布会内容。「我想，管他呢，我还是去吧，」他说。
在游客中心外，Souza 和我开始就苹果公司推出的 iPhone XS、XS Max 和 XR 的新拍照功能交换意见。
iPhone XS、XS Max 的双摄像头与 iPhone X 的配置基本相同：双 1200 万像素摄像头垂直排列，主镜头为 F/1.8 的广角镜头，副镜头为 F/2.4 的长焦镜头；还有一颗 700 万像素前置原深感摄像头。但这些配置都基于新的图像传感器、镜头和全新的图像信号处理器——所有这些，都是全新 A12 仿生芯片组的一部分。
和我一样，Souza 也对最新的人像模式感到惊讶，这种功能可以让你在拍照后，无论是前置还是后置摄像头，都能调整焦外成像效果（即背景虚化）。他告诉我，他认为消费者不会注意到界面上的光圈数。
▲苹果居然会在深度编辑中加入光圈数
后来，在电话里，Souza 说:「我想大家可能会用它，但不可能真正理解。」他补充道，消费者会在使用中理解其结果。
苹果全球营销高级副总裁 Phil Schiller 在被我问及为何决定在深度编辑界面中加入光圈数时表示:「我喜欢这个决定，这是团队上下对摄影艺术表示的一份尊敬。」
消费者在手机和照片编辑 app 中看到的数字，将不仅仅是老式的、单反相机式的光圈调节，Schiller 告诉我，苹果设计了一个精确的模型来模拟光圈数下物理镜头的行为。
▲ 注意背景虚化
在物理相机中，较大的光圈系数表示较小的进光量，也就意味着较小的景深。换句话说，F/1.4 光圈会把焦聚在人脸部，而模糊掉背景。F/16 光圈则几乎没有景深。
最早能拍摄出这种照片的智能手机出现在 2016 年，当时 iPhone 7 Plus 的人像模式利用其双镜头系统捕捉到的两张照片，创造出一种背景虚化的效果。对于 iPhone 业余摄影师来说，这本身就是一项突破性的创新，它将普通的人像照片转换成高画质的工作室照片，使前景物体清晰并模糊了后景。
精益求精
新的 iPhone XS 和 XS Max 功能更为强大。苹果软件副总裁 Marineau-Mes 解释说：「我们把透镜模型转化成数学模型，并将其应用到图像上。除了我们没人做这件事儿，其他人只是想办法模糊背景。无论你是用 iPhone XS 的 700 万像素前置摄像头自拍，还是用 iPhone XS 或 XS Max 双镜头系统拍照，还是用 iPhone XR 的 1200 万像素后置摄像头拍照，处理效果都相当不错。」
▲ 使用 iPhone XS Max 拍摄
苹果的深度编辑更加引人注目，在传统和单反摄影中，光圈的每一次调整都必须与曝光设置的相关调整相适应，而如今，苹果可以做到让你在不接触曝光的情况下调整拍摄后的光圈。
Souza 在华盛顿特区的自然历史博物馆试过 iPhone XS。当他对博物馆的早期人类头颅进行拍摄时——通过玻璃进行拍摄——结果令人印象深刻。他告诉我说我说，深度编辑功能 「非常好，非常好」。
「我会把它和我用的佳能相提并论，效果真的棒极了。」他补充说。
Souza 是 iPhone 的粉丝，除了早年的翻盖机之外，从没用过其他品牌的手机。他表示自己在拍摄奥巴马虽然几乎总是用单反相机，但他总是用 iPhone 拍摄更随意的照片。他说:「我拍了几百张雪景，没有拍人，都是用 iPhone 拍的。」
显然，专业摄影师知道智能手机摄影的局限性。即使有了多镜头、远摄功能和后处理功能，也很难取代 35mm 全画幅传感器和 55mm 的镜头。
▲ 使用 iPhone XS Max 拍摄，无滤镜，无修图
但这并没有阻止苹果的努力。苹果公司多管齐下，力图让数以百万计的用户都能拥有专业水平的摄影能力。
「我们不像一家硬件公司，也不像软件公司，而是一家系统公司，」苹果相机硬件高级总监 Townsend 说，并强调了苹果在众多消费电子产品领域取得成功的标志：从设计到开发，从硬件到软件，几乎所有的事情都可以掌控，「我们有能力设计所有的东西。」
▲使用 iPhone XS Max 前置摄像头拍摄
协同与创新
苹果之所以能做到这一点——尤其是在成像这样复杂的系统中——部分原因在于，运行良好的组件并不总是能够很好地协同工作，而苹果对第三方合作伙伴定制零部件的偏好是众所周知的，但它还不止于此。如果合作伙伴表示自己无法达到苹果的要求，苹果就会聘请相机制造工艺的专家。而且苹果的硬件和软件团队一直定期开会，就是为了保证 iPhone XS 等新硬件能有过硬的摄像功能。
「我们的要求不是一般的高，」Schiller 笑着说。
事实证明，这种跨部门的协调对 Smart HDR——苹果图像处理皇冠上的又一颗宝石——的开发至关重要。
在传统的 HDR 中，曝光不同的两张图像分辨用来在暗区和亮区捕捉细节。即使在最好的 HDR 图像中，也会有一些细节（或者很多）丢失，或者最终合并的图像效果大打折扣，尤其是在动作照片中。此外，HDR 可能会带来一些快门延迟，这意味着运动摄影几乎是不可能的。
在我用 iPhone XS 和 XS Max 进行的测试中，Smart HDR 在具有挑战性的情况下拍出了高质量的图像。
▲Phil Schiller 在发布会. 图片来自：Justin Sullivan/Getty
正如 Schiller 在演讲中所说的，每一张照片都有数万亿次的运算，使得这一切成为可能，主要靠的还是 ISP 和它的高处理能力。
Marineau-Mes 向我解释道，相机在三十分之一秒内，在不同的曝光条件下捕捉一对图像。这些信息被传到 A12 的引擎中，后者迅速开始分析图像。
Smart HDR 不会就此止步。Marineau-Mes 说：「一切都是在几百毫秒内发生的。」
在 A12 芯片内部有一个引擎，它不仅可以分析图像的曝光，还可以分析离散的图像元素，也可以识别面部特征。如果系统检测到运动，它会查找具有运动最清晰图像的那一帧画面，并将其添加到图像中。
当天早些时候，苹果公司给我看了一张照片，照片上是一个人站在湖里。他背光，只能看到剪影。他在甩头发，水花四溅，飞向空中。如果我想用单反相机拍出这么一张照片，快门速度至少要设置到 500fps，然后把光圈稍稍调小保持一些景深，还要提高 ISO 来加大进光量，这可能会形成很多颗粒。
▲苹果公司的样张
然而，这张照片是用 iPhone x 拍摄的。
「我们设置了一个参考帧，并融合了来自多个帧的信息，」Marineau-Mes 说。我看到的图像是多帧合成的。其中一些帧包含了最终图像的片段，比如完美的头发和水。
他解释说：「如果你有一大堆差不多的图像时，你可以把它们逐渐叠加起来，慢慢就会得到效果越来越棒、细节越来越好的照片了。」
Marineau-Mes 说，要想获得这样的效果，就需要非常强大的图像信号处理器和神经网络引擎，以及一个能够保证进行所有这些处理功能的强大 GPU 和 CPU。
在你按下 iPhone 相机应用程序的虚拟快门按钮之前，所有这些繁重的工作就开始了。Schiller 说，用户在 iPhone XS、XS Max 和 XR 屏幕上看到的与最终图像没有太大区别。
当我问道收集这么多信息对最终照片的大小意味着什么时，他们告诉我，苹果的 HEIF 格式会提供更高的图片质量，但文件大小会更小。
有时，苹果公司的工程师们几乎是偶然地获得了更好的图像技术。去年，苹果公司推出了「闪烁检测」（flicker detection），它可以寻找光源刷新频率，并试图减少静态和视频图像中的闪烁。Townsend 说，虽然白炽灯和荧光灯的刷新频率是一致的——这使得计算曝光时间变得很容易，但是现代的节能灯可以在所有不同的频率下工作，尤其是那些改变颜色的频率。
今年，苹果工程师扩大了识别频率范围，进一步减少了闪烁。然而，在这样做的同时，他们意识到现在也可以立即识别出太阳在照片中的位置（汤森指出，「太阳不会闪烁」），并立即调整自然光线的白平衡。
「我们的工程师们正在研究这个，他们发现了额外的信息。所以，这是我们从闪烁检测中得到的好处，」Townsend 说。
视频和未来
所有这些图像捕捉努力也延伸到了视频领域，在拍摄中，系统会对每一帧进行分析，输出高光和暗部细节更优的视频。
我突然想到，如此集思广益之下，苹果可能会把深度编辑器应用到视频上。但当我问 Schiller 这个问题时，他只会说，苹果不会对未来的计划发表评论。
无论是视频还是照片，最终的结果都是苹果，或许还有智能手机相机摄影的一个新高潮。Townsend 告诉我说，公司收到了电子邮件，人们表示「不敢相信能拍出这样的照片。」
Townsend 说：「我们为生活在真实中的人制作相机。他们希望自己的照片是一幅美丽的画，仅此而已。」
▲Pete Souza 和我
Souza 的作品《Shade》讲述了奥巴马和特朗普政府之间的拍照对比，该书将于今年 10 月开始发售。「我一直都惊讶于用 iPhone 你能离你的拍摄对象多么近。就最小对焦距离而言，iPhone 比单反要好，除非你随身带着单反的微距镜头。」
那天早上，Souza 打印了两张他用 iPhone X 拍摄的照片。他说他认为这两张照片看起来像是用单反拍出来的。
我问了 Souza 最后一个问题：如果未来哪个总统继续钦定他来拍照，他是会用 iPhone 拍官方照片，还是继续用单反拍？
「单反，」他回复我说——也许打破了苹果公司的期待，「不过我还是会跟过去一样，在 Instagram 上发一些用 iPhone 拍的照片。」
从单反换到 iPhone，再从 iPhone 换到单反，苹果公司也一定不希望看到 Souza 和其他摄影师总是这么手忙脚乱。
本文转载自 36 氪，作者为 Lance Ulanoff，编辑为郝鹏程，原文标题 Inside Apple’s iPhone XS Camera Technology。爱范儿经授权发布。
#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。
from 爱范儿 https://ift.tt/2pMFczj
via IFTTT
没有评论:
发表评论