2021-11-08 · vr_ar_metaverse / hardware_tech / mobile_internet
Connect 2021的解析和解构
最近Metaverse实在太火了，感觉一级还没研究明白，二级已经涨起来了。恰好小扎为了给公司改名，精心准备了一段90分钟的视频（推荐有条件的同学看一下，确实花了大价钱拍的）。虽然很多观点不完全同意，但看完有助于理清思路。根据油管视频的标签，其主要逻辑线如下：
最近Metaverse实在太火了，感觉一级还没研究明白，二级已经涨起来了。恰好小扎为了给公司改名，精心准备了一段90分钟的视频（推荐有条件的同学看一下，确实花了大价钱拍的）。虽然很多观点不完全同意，但看完有助于理清思路。根据油管视频的标签，其主要逻辑线如下：
- Social Connections
- Entertainment
- Gaming
- Fitness
- Work better and do more
- Education
- Commerce
- Building the metaverse together
- Building responsibly
- Building the next devices
- What will it take to make metaverse
段郎觉得实际上可以再归类为这几方面：
- 目的：增强人和人的连接
- 场景：游戏，健身，工作，教育，商业
- 软件：开发工具包，生态构建
- 硬件：下一代产品，未来的技术储备
一、元宇宙的目的（FB换了一种角度阐释不忘初心）
下面就从这几个角度，先看看Connect 2021到底说了哪些“干货”。首先是FB建设“元宇宙”的目的（至少是台面上的目的），在于增强人与人之间的连接（social presence no matter where in the world you happen to be），并且非常笃定地认为Metaverse是互联网的下一种形态（successor to the mobile internet）。虽然我对“增强人的连接”表示深深的怀疑（小屏已经让大家变成低头族，元宇宙估计就老死不相往来了），但这个小扎这个观察角度至少构建了一种观察角度：
推进元宇宙，到底是为了做什么。
目的决定了构成要素（以及技术方向），小扎的演讲逻辑性还是很强的。中间特意提到了元宇宙的构成：
- Presence（我觉得可翻译为现场感）
- Avatars（从微信头像升级到拟我表情，再升级到虚拟替身）
- Home Space（更像是一种主观的心理需求）
- Teleporting（远程传输，在真实感的前提下，应该是核心应用了）
- Interoperability（互通性，打破APP之间的藩篱）
- Privacy & Safety（由小扎提出很有讽刺感）
- Natural Interfaces（明显的技术瓶颈之一）
二、关于场景的畅想（以想象为主）
那么“假设”元宇宙成熟了，有哪些应用场景呢。小扎列举了聚会，一起听音乐，游戏（FB砸了一些3A大作），健身（本质还是VR游戏），工作（主要是开会），教育（基于AR的应用），商业（虚拟物品销售）。
有了元宇宙，到底有个啥？
如果仔细分辨，在这段事先录制的精心准备的视频中，其实有两类：一种是当前某款应用的实景（Osso VR），医生甚至没有身体和面部表情，据说可以用于训练医生做手术（非常怀疑这种训练的质量），我觉得可以称之为“骨感现实”：
另一种是卡通形象呈现，表情和场景丰富，接近电影画质的VR场景，可以理解成一种“近景想象”：
另一种是拟真Avatar呈现，混合现实场景，接近科幻电影镜头（远景想象）：
很容易看出“骨感现实——近景想象——远景想象”之间的巨大鸿沟，如果说第一步只是场景和替身精细程度的提升（仍然是CS学科内部的问题，个人预计3年左右），第二步涉及到环境感知、空间定位、透明显示、低延迟传输等一系列问题（多个学科交叉最麻烦，我估计FB也没有时间表）。FB刻意将这几种场景混合编排，刻意模糊其中的界限，其实也是一种误导。
三、软件工具（透视SDK及其他）
除了开发者激励政策外，从应用的角度，最为干货的应该就是基于AR透视功能的开发工具包，还有个专属名称“Presence Platform”。这也暗示了未来演化的过程“VR沉浸应用——VR透视应用——AR应用”的演变过程。这也在AR设备无法普及之时，先构建软件工具和内容生态，进行了铺垫。
详细来看，Presence Platform包含：
1）Insight SDK（主要是透视，明年产品还支持彩色透视）；
2）Interaction SDK（定义手势交互）；
3）Voice SDK（集成语音交互）；
4）Tracked Keyboard SDK（现实键盘到虚拟键盘的映射）
其中，最为关键的Insight SDK包含了：Passthrough/透视，Spatial Anchors/空间锚点，Scene Understanding/场景理解，后面两个关键功能要在明年推出。这里再补充一个FB的官方技术Demo，也是远程下棋应用。与老人远程下棋的相比，可以看到买家秀和卖家秀的差距。
四、硬件和技术储备（最值得关注的部分）
关于元宇宙讨论最多的话题，除了买什么股票外，最多的就是到底靠不靠谱，还有多久能实现（同样适用于元宇宙是空间还是时间点的讨论）。段郎觉得，与其临渊羡鱼（畅想元宇宙有哪些场景），不如退而结网（搞清楚需要投入哪些技术）。如果总结成一句话：
推进元宇宙，到底需要什么？
这次Connect 2021将FB认为的相关技术做了列示，虽然很难说不重不漏，但主要方面都涉及到了。
事实上，我觉得可以将以上技术分为两类：
- 一类是EE/CS相关（服从摩尔定律）：包括Sensor，Graphics，Computer vision，Avatars，AI, etc.
- 另一类是多学科的（包括材料/光学/声学/电化学等，不服从摩尔定律）：包括Display，Audio，Eye tracking，Perception science, Neutral Input, etc.
关于科技树的描绘，应用材料公司在一次演讲中也有提到，从AR系统角度来看，所需底层技术确实大同小异。
可惜的是，在视频中小扎着重展示了第一类技术储备，包括拟真的Avatar，三维场景重建等，同时也秀了一下通过肌肉电输入（EMG Input），基于眼动追踪知晓用户的关注点等。总体上，如果说FB在Avatar拟真程度上还可圈可点的话，那么神经信号控制输入和眼动追踪则仍然处于实验室阶段（好听点叫Early Prototype）。此外，根据作者此前的经验，EMG手环从设备体积，佩戴位置，输入速度等维度，并未见到很大进展。
有的时候，重要的不是他说了什么，而是他没说什么。不知是有意还是无意，FB在发布会中完全没有提及光学——尤其是AR光学领域的进展，或相关的技术储备（除了超短焦的VR）。如果说“元宇宙就是AR”，那么显示技术才是最底层的开启方式。毕竟，离开显示技术的支撑，我们很难跳出那块6寸的显示屏，进入更大的世界。借用一下Dispelix的宣传，“Everything in AR starts with the display – it’s the very first thingpeople see. Your display quality dictates the entire user experience.”
如果说“元宇宙”就是虚拟世界（比特世界）的信息量超过真实世界（原子世界）的“临界点”，而“信息量 = 带宽×时长”。VR由于只能在有限的时间内扩大接入带宽（数据量大概是手机3倍），但AR潜在的可以将4小时手机使用时间扩展2-3倍。因此，AR显然是提升虚拟世界信息量的关键，而显示则是这一切的基石。段郎大概总结了这两个领域的技术成熟度如下（总体上在拍脑袋）：
总之，Connect 2021的总体观感是失望大于希望：它描绘了一个美好的愿景，但没能指明道路；它甚至指出了关键问题，却没有做出回答。还是期待小扎明年的硬件产品，毕竟每年10bn的投入，不能都藏着，也应当让更多人看到方向。
段小张说