意法半导体超级传感器助Sphere打造沉浸式体验，开启全新电影时代

来源：意法半导体博客

你能想象到这样的观影体验吗？银幕已完全消失，而观众直接置身于电影故事中心。现在，这种身临其境的沉浸式观影体验已在拉斯维加斯新一代娱乐媒体Sphere的球形剧场内成为现实。在这个高 366 英尺、宽 516 英尺的球形剧场内，一块16K x 16K 分辨率的LED显示屏环绕观众，并向上延伸到天花板，这是目前世界上分辨率最高的 LED 屏幕。

为了在 Sphere 屏幕上实现超高分辨率的视觉效果，Sphere团队开发了一个名为Big Sky的专用摄像系统 。Sphere和意法半导体合作，为 Big Sky摄像系统开发了一个定制的 3.16 亿像素的图像传感器，为观众带来无与伦比的观影体验。

本文将探讨 ST 定制图像传感器和 Sphere 的 Big Sky 摄像系统背后的技术细节，以及它们给电影未来带来的影响。

技术细节

图像传感器由数百万个微小的感光元件(像素)组成，这些感光元件可以捕捉光(光子)并将其转换为电信号(电子)。这些感光元件对于拍摄数字图像至关重要，但它们只是摄像系统中的一个环节。每个摄像机都通过镜头将光线聚焦到图像传感器上，将其转换为原始数字信息，然后通过处理器(比如专用图像处理器或应用处理器)处理和分析图像数据。最后一个环节是图像输出接口，将处理单元输出的图像数据转换为适合在设备上显示的格式或适合进一步分析的格式。

摄像机组件

图像传感器大致可分为两类：

o单色图像传感器与彩色图像传感器：单色传感器用黑白两种颜色描绘世界，而彩色传感器使用红、绿、蓝 (RGB)三原色像素，类似于人眼的方式拍摄图像。

o除了这两种标准传感器结构外，还有更先进的“多光谱”图像传感器，它可以区分多个光谱范围，不止于识别经典RGB三原色的差异。

o全局快门和卷帘快门图像传感器：全局快门传感器同时曝光所有像素。曝光后，每个像素将信息暂时保存在缓存内，然后按顺序读出图像信息。而在卷帘快门传感器内，像素没有缓存，因此必须一行接一行地拍摄图像。

卷帘快门和全局快门图像传感器的功能

图像传感器是捕捉光线并决定最终图像质量的组件。高品质传感器可捕捉各种明暗区域(高动态范围HDR)。在光线明亮的环境中，高品质传感器既具有收集大量光线的高饱和能力，又能以短曝光时间拍摄图像。这个特质可避免图像饱和与大白点现象。

在低光照条件下，感光度和暗噪声是影响成像质量的重要因素。HDR图像传感器必须充分利用亮度不足的光线，同时最大限度减少暗噪声，以免淹没传感器捕获的光信号。最后，高品质图像依赖于先进的像素技术，因为这些技术可确保图像一致，无角阴影，清晰度极佳。

发展趋势

图像传感器的未来在于突破技术限制。厂商不断追求更好的图像质量、更高的分辨率和更低的功耗。从超逼真的虚拟现实体验，到更智能的机器人和医疗设备，先进的图像传感器将解锁更多的创新应用。

人眼和摄像机都可以拍摄图像，但两者的拍摄能力在某些方面有所不同。尽管摄像机图像传感器的尺寸和技术各不相同，但大都能提供高分辨率和精确的细节，而人眼在动态范围方面更胜一筹，可轻松适应不同的光照度。无论是在明亮的光照条件下，还是在光线不足的阴影环境中，人眼都能感知图像细节，而摄像机很难复制人眼的这个能力。此外，人眼的视野更宽，能够快速适应不断变化的光照条件，提供更身临其境和细致入微的视觉体验。尽管摄像机技术已取得诸多进步，但人眼仍然是生物工程的奇迹，在多功能性和感光度方面无可比拟。为了拍摄可与人眼媲美的图像，意法半导体利用先进的成像技术，结合出色的动态范围和低噪声，在任何光照条件下都能拍摄出高对比度的图像。

合作历史

2020 年，Forza Silicon公司将ST引荐给Sphere娱乐公司。Forza Silicon是一家芯片设计公司，从 2012 年开始与ST合作至今。Forza Silicon 拥有整体解决方案的设计能力，ST 是 CMOS 图像传感器的战略性代工合作伙伴。2021 年， Sphere 团队到ST法国克罗尔工厂现场参观，从此双方开始合作。

Big Sky 摄像机项目最初的目的是解决使用11台到13台8K摄像机为Sphere 显示屏拍摄内容面临的技术挑战。这种配置需要花费大量的时间和精力进行后期制作、编辑视频，并把多个摄像机的内容合并成一个视频。通过与 ST 和 Forza Silicon 合作，Sphere 简化了工作流程，提高了工作效率。ST 有一个专门的业务模式，可以处理非常复杂但产量相对较少的流片项目，而 Forza Silicon 在 CMOS 图像传感器等各个领域拥有丰富的底蕴，这是项目取得成功的两个重要因素。

Sphere传感器晶圆 (Image credits © Sphere Entertainment Co.)

ST 为 Big Sky 打造了一款分辨率达3.16亿像素、像素间距4.3 微米的CMOS 图像传感器，能够以120 fps的帧率输出流畅的细节清晰的图像。该传感器的裸片尺寸相当于一个有4 颗裸片的12 英寸(300 毫米)晶圆，具有优异的87dB 动态范围，可捕捉光照部分和阴影部分的细微变化，配合RGB彩色微透镜滤光片阵列，可以准确呈现色彩。该传感器采用 ST专有的背照式图像传感器制造工艺，代表ST在重新定义娱乐和电影摄影标准成像技术方面取得了突破性进展。

该摄像系统拥有许多傲人的先进功能，例如，直径近 1 英尺(30 厘米)的巨型鱼眼镜头，可拍摄广阔的广角照片，以及更小、更便携的鱼眼镜头。此外，ST针对 Sphere球形剧场超大屏幕优化了图像传感器的性能，通过使用更大的像素来增强捕光和细节保留能力，确保获得无与伦比的图像质量。

采用 ST 定制传感器的 Big Sky 摄像系统

（图片来源 © Sphere Entertainment Co.）

采用 Sphere CMOS 图像传感器的 Big Sky 摄像系统彻底改变了电影制作方式，只用一个165 度视场角的便携式摄像机即可代替一个复杂的 8K 摄像机阵列。Sphere 的摄像系统设计节省了数天的编辑时间，具备远程控制和摄像机光纤连接功能。32TB SSD双硬盘的每个硬盘都能有效存储 17 分钟未压缩的60fps视频。该系统不仅简化了电影制作流程，还通过集成的视频编辑工具改进了创作流程。

《来自地球的明信片》是第一部使用 Big Sky 摄像系统拍摄的电影作品，也是 Sphere体验的一部分。这部电影于 2023 年 10 月 6 日在拉斯维加斯 Sphere球形剧场首映。这部电影由获得奥斯卡奖提名的Darren Aronofsky执导，在拉斯维加斯 Sphere球形剧场的160,000 平方英尺(15,000 平方米)环形屏幕上独家放映，利用 Big Sky 摄像系统技术，带领观众穿越七大洲，深入海洋，翻越高山，进入风暴之眼。制作团队通过Big Sky 摄像系统能够为地球上的各种景观拍摄无缝的全景视频。

有了意法半导体 3.16 亿像素图像传感器的加持，为 Sphere球形剧场专门设计的Big Sky摄像系统将成为电影史上的重要转折点，有望开启一个全新的电影时代。