聊聊Realsee Space HDR
- 本文地址: https://www.laruence.com/2026/10/30/7736.html
- 转载请注明出处
前俩天发了一篇 PHP 漏洞原理分析的公众号文章, 阅读刚过 3 万就被删了. 最气人的是, 不告诉你具体为啥, 还不给任何申诉的途径.
今天不聊 PHP 了, 聊点别的. 过去半年我们(如视)做了一个工作, 我觉得挺好玩的: Space HDR.
什么是 HDR.
HDR(High Dynamic Range, 高动态范围)这个词, 大家应该都不陌生了. 手机拍照界面的 HDR 开关, 相册里的 HDR 标识, 这几年已经是基础设施了.
不过大家平时理解的 HDR, 可能只是个半成品.
拍照时的 HDR, 是相机对着同一个场景拍几张曝光不同的照片. 欠曝的留住亮部细节, 过曝的留住暗部细节, 再合成一张明暗都看得见的照片.
这个理解没错, 但它只是采集那一环.
一个真正的 HDR, 采集时要记录足够宽的亮度范围, 存储和传输时要有能力承载这些范围的数据, 最后展示时, 屏幕还要能把亮度真正放出来. 任何一环不支持, 到眼睛里的就还是 SDR.
所以大家经常看到一些照片, 明明号称是 HDR 照片, 但是在 Web 上看, 还是窗外亮成一片白, 暗处黑成一团. 因为 Web 分享的时候, 结果又被“压成了”SDR.
要理解这个问题, 得先说光的亮度单位: nit(尼特).
一根蜡烛的火焰大概是 0.5 nit, 阴天的天空大概是 200 nit, 而太阳表面是 16 亿 nit..
过去 SDR 屏幕展示的亮度范围, 一般在 0.1 到 100 nit 之间. 也就是说, 我们拍照时, 真实世界很大的亮度范围, 最后要压进这俩个数里.
过去 SDR 的时代, 从采集到存储再到展示, 都是按这个范围来的.
而现在屏幕能展示的亮度越来越高. 比如某品牌前段时间发布的手机, 号称屏幕瞬时亮度可以做到 16000 nit. 那么采集时就得记录更多亮度范围, 存储时要有更多位宽承载更大的范围, 最后还要在支持 HDR 的屏幕上展示出来.
这条链路上, 采集、存储、封装这些事情, 我们过去几年一直在做. 这次主要解决的是展示这一块: 把 HDR 真正送到浏览器里的屏幕上.
0x1 伽罗华
如视的空间智能相机叫伽罗华, 最新一代是 P4.
它现在已经被用于贝壳的 VR 看房、美团的餐厅预订、展厅展馆、文物保护, 甚至还有犯罪现场记录. 比如香港警方防爆科的阿 sir 们, 用的就是这个产品.
P4 是一台激光扫描仪. 机身里有 905 纳米激光雷达和彩色镜头模组, 4/3 英寸 CMOS, 4700 万像素, 直出 3 亿像素的 24K 全景图, 激光测距绝对误差在 10 毫米以内.
它拍摄时大概 16 秒转一圈, 一共拍 5 到 6 个角度, 最后通过算法合成一张全景图.
手机拍 HDR 时, 通常是多张不同曝光的照片合成. 伽罗华从第一代开始, 每一个角度采集的都是 5 张不同曝光的 RAW 数据.
RAW 是传感器原始输出, 没有经过机内压缩和处理. 5 张不同曝光的数据下来, 亮度层次是全的. 也就是说, 在采集这一环, HDR 信息从一开始就在.
问题在展示.
空间成果要放到公开 Web 上, 方便分享和查看. 过去 Web 对 HDR 照片的展示支持, 一直落后于视频. 所以这些数据到了输出这一层, 还是走 SDR 格式的 JPEG、AVIF. RAW 里的数据只是存了下来, 用户却看不到.
不过技术发展到今天, 有了一些变化.
Chrome 从 2023 年开始能正确显示 HDR 照片, AVIF 和 Ultra HDR JPEG 从 Chrome 116 起可用. Windows 上的 Edge 随后跟进. Safari 最晚, 到 2025 年 Safari 26 才原生支持 HDR 图像, 也把 WebGPU 带上了.
也就是说, 到去年, 单张 HDR 照片在主流浏览器上算是都能亮起来了.
于是时机到了. 我们花了半年, 用 WebGPU 把前端渲染引擎重写了一遍, 让全景里的 HDR 数据也能一路走到屏幕.
0x2 存储: Ultra HDR 的思路
先说怎么存.
考虑到毕竟还是有很多设备不支持 HDR, 我们也不得不采用 Ultra HDR.
底子还是一张兼容性最好的 JPEG SDR 图, 再加一张增益图(Gain Map), 再加上解释增益的元数据.
普通解码器看到的, 就是那张 SDR 底图. 支持 HDR 的设备, 才会读取增益图, 恢复 HDR 的亮度.
增益图描述的是每一个位置上, SDR 呈现和 HDR 呈现之间的关系. 恢复时, 底图先转换到线性光空间, 增益图再按自身的 gamma、增益范围和偏移规则解释, 最后算出 HDR 的亮度.
我们沿用这个思路, 把全景空间的数据也做成底图加增益图的形式. 数百 MB 的完整光照数据, 压缩封装成浏览器和手机端可以实时承载的轻量格式.
0x3 适配
一张静态照片, 底图和增益图放在一起不动就完了.
但全景不行.
用户会转动视角, 会放大看细节, 每次转动和放大, 都会重新采样纹理. 增益数据也需要跟着变化.
先说转动.
底图和增益图必须始终保持方向和位置的对应. 俩张图可以有不同分辨率, 不过格式规范要求缩放采样至少采用双线性插值. 否则俩张图会错位, 增益就加到不该加的位置了.
再说放大.
放大时视野会变窄, 系统按当前视野和显示尺寸选择合适的细节层级(LOD), 把局部纹理补充进来. 新补充进来的纹理同样带着增益数据, 所以也要同步更新.
这里面有一个坑.
颜色纹理需要解码到线性光空间, 但增益纹理不能这么处理. 增益图不是颜色, 它保留的是亮度关系. 一旦把它误当成颜色再做一次转换, 最终的亮度关系就错了.
视角之内的问题是解决了, 还有视角之间的.
每个视点都有一组自己的信息: 底图、增益图、恢复参数. 用户在视点间切换时, 过渡阶段要分别判断俩个视点的 HDR 可用性. 如果其中一个视点只有 SDR 底图, 就按实际内容处理, 不能硬套同一套增益.
0x4 展示: WebGPU
这些都解决以后, 不管怎么转、怎么放大、怎么切点位, 手里的亮度数据都是正确的了.
但还有最后一环: 怎么把它真正送到屏幕上.
过去的渲染引擎基于 WebGL. WebGL 的画布输出是 8 bit sRGB, 值的范围被钉死在 0 到 1. 超过 1 的部分一律截掉.
举个简化的例子. 线性标度下, SDR 白是 1, S 是底图亮度, G 是增益, w 是增益权重:
H = S × G^w w = 0 => H = 0.5 w = 0.5 => H = 1.0 w = 1 => H = 2.0
这里取 S = 0.5、G = 4、偏移为 0.
H = 2.0 代表超过 SDR 参考白的亮度. 如果中间任何一步把值截回 1.0, 这个区别就丢了.
WebGL 的画布就是最后一道截断. 前面的增益算得再准, 到这里也出不去.
所以不能打补丁, 得换掉图形后端.
Chrome 129 起, WebGPU 画布支持 rgba16float 浮点格式和 extended tone mapping. HDR 路径里的浮点亮度, 才能不被截断地落到屏幕上. 这就是这次花半年重写渲染引擎的原因.
最后是绘制时机.
每次绘制前, 按用户设置、显示能力和后端选择确定 HDR 参数. 如果检测到环境变了, 比如用户中途打开了系统 HDR, 就跳过当前绘制, 更新中间纹理后再继续.
绘制完以后, 还要核对增益应用和画布配置. 任意一环没有对上, 出来的就是错误的颜色.
那怎么知道当前环境能不能走 HDR?
dynamic-range: high 媒体查询提供这个信号. 用户关了 HDR、显示能力不匹配 high, 或者实际跑的是 WebGL 2 时, 就退回 SDR 底图.
所以旧设备上看到的效果, 和现行版本一致, 不会出错.
Web 上没法像电视那样把整条链规定死, 那就每一环都自己判断.
0x5 Demo
说了这么多, 先看看结果:
注意看左边的内容, 左上角有“24K HDR”的标识.
这个空间开了同步视角(Sync view). 你转动视角, 另一边会跟着转到同一个位置. 一边是 HDR, 一边是 SDR, 同一个场景放在一起, 差异会更容易看出来.
看出来差异了么?
如果你看不到 HDR 标识, 或者感觉画面没有变化, 大概率是环境的某个环节不支持 HDR. 可以点下面这个测试按钮试试.
<button id="hdr-check-btn">检测 HDR 支持</button>
它会检查三项:
- 浏览器图形能力是否支持 WebGPU;
- HDR 显示能力是否为
dynamic-range: high; - 浏览器能否进行 HDR 输出。
如果三项都支持, 再去看上面的对比体验, 应该就能看出来差异.
如果有不支持的, 可以开一下系统 HDR 开关, 或者把浏览器升到最新. Chrome/Edge 113+ 可以使用 WebGPU, HDR 输出需要 129+. 再不行就换一台 HDR 屏幕设备, 现在主流手机基本都满足.
0x6 开源
我们开源了一个工具: panorama-viewer.
它基于 three.js WebGPU, 可以直接拖一张 Ultra HDR JPEG 进去, 从里面读取底图、增益图和元数据, 在 GPU 上恢复 HDR 图像.
还提供了一个可以实时调节的显示增益滑块. 把增益从 0 拉到头, 就能直观地看到画面里多出来的是什么.
更多 Space HDR 的案例在 Realsee Discover, 可以按餐厅、住宅、酒店、博物馆、零售慢逛.
0x7 价值
人看照片时, 画面里的光越接近人眼当时的感受, 就越觉得真实.
VR 里也是一样. HDR 可以提高沉浸感, 从而给用户带来更好的“身临其境”感. 窗外亮成一片白, 暗处黑成一团时, 人就会觉得这不是“自然的光”, 本能的就会觉得“这就是照片”, 这不是“真实”。
比如贝壳. 用户在手机上看房子时, 采光好的房间亮不亮, 朝北的房间暗不暗, 这些会直接影响判断.
再比如美团的餐厅预订. 订卡座之前先逛一遍, 落地窗边的位置、射灯打着的氛围, 看完和到过现场差不多. 需要考察空间的应用, 都是这个道理.
目前贝壳新房板块和美团已经大规模上线了 Space HDR 房源, 途家、阿里这些平台也在接入中.
好了, 就介绍这么多. 感兴趣的可以点开下面几个案例查看:
内容来自 风雪之隅,版权归原作者所有。
阅读原文 ↗