北京大学生电影节大学生原创影片大赛,交互式观赛
2022-09-10 01:25:31来源：影视资讯责任编辑：天天影视631人阅读
二十余年前上映的电影《黑客帝国》中，有一个慢镜头被深深地刻在人们的脑海里：当脱膛的子弹高速冲向主角，主角向后仰身，子弹擦身而过。这个短暂得甚至不能用秒来计算的过程，最终被电影团队用特效技术360度无死角地呈现。著名的“子弹时间”也由此而来。
北京大学博雅特聘教授陈宝权把“子弹时间”从电影后期搬到了体育比赛的转播中。陈宝权是“科技冬奥”重点专项——冰雪项目交互式多维度观赛体验技术与系统项目负责人，“电影中‘子弹时间’这个画面只有几秒钟，而且全部是后期完成的。我们把它用在了比赛的实时转播上，实际上是一个非常大的挑战。”陈宝权坦言。
北京大学博雅特聘教授陈宝权。受访者供图
在比赛中，全程实时的“子弹时间”在研发中有哪些困难？对于普通观众而言，这样的技术与系统又将如何提升观赛体验？后冬奥时代，它又将如何发挥其作用？
任意视角自由观赛，实时呈现是最大挑战
打开手机里的APP，就看到了一场冰球比赛的画面。与日常观赛不同，在这个应用程序里，观看者可以来回滑动、切换观赛角度，甚至比人在比赛现场所能观看到的角度还多，就像拥有了“上帝视角”一样。
这样独特的观赛体验正是自由交互式技术的应用结果。“以往看比赛都是在固定的地方放几台相机拍摄比赛画面，导播不停地切换机位，这样就可以给观众呈现不同的视角。”陈宝权表示，传统的观赛模式下，观众所能看到的比赛画面是统一的，也是相对固定的。
陈宝权介绍，“自由视角”技术下建立的交互式多维度观赛体验系统，则可以帮助观众实现全新的观赛体验，“在观看比赛的过程中，你可以连续地改变观看点位，选择自己喜欢的角度去看同一场赛事活动。相当于每个观众看到的画面，都是符合自己需求的，可以千差万别。”
从比赛画面拍摄、云端渲染，再到数据传输、平台呈现，独特的观赛体验背后，涉及画面拍摄与制作、内容设计与生成、编码与传输平台、交互式智能终端与系统建设多个内容。
在陈宝权看来，项目最大的挑战在于实时呈现比赛画面。
“像电影特效都是后期制作完成的，可能一秒钟的画面需要几个月的制作时间。但我们想在观看比赛的时候能实时看这种效果，比赛转播顶多有30秒的延时。”陈宝权表示，所有的内容都在要30秒之内完成，“对实时的要求很高。表面上看起来跟影视特效差不多，但实际上是一个巨大的挑战。”
与此同时，体育比赛的特点对拍摄效率也有了更高的要求。
“拍电影要想实现这个画面，可能就拍一个人，然后在他周围架设密密麻麻几十台相机，而且相机还会离拍摄对象非常近。”陈宝权表示，与电影拍摄在狭小的空间里架设数十台相机拍摄不同，比赛场地空间广阔，要拍摄的对象也多了很多。
陈宝权解释，一个标准的冰球比赛场地可能有两百多米的跑道，“每个相机放置的位置叫一个视点。一个视点可能覆盖10度，那在场地外环一周360度拍摄就需要36台相机。36台相机架设在跑道上，每个相机之间的间隔几十米。这样画面就衔接不起来，会卡顿。那就需要多架设相机。”
但如何布置相机、布置多少个相机，这些都要精准计算。陈宝权表示，这其中既要考虑比赛场地大小，又要考虑相机所能覆盖的拍摄范围，同时还要兼顾传输画面的数据量。
团队在进行模拟测试。受访者供图
保障画面流畅，利用虚拟相机“脑补”比赛画面
不断滑动切换观看视角、放大缩小查看运动员动作……2021年12月31日，记者在北京大学前沿计算研究中心感受到了任意视角自由观赛的神奇，也看到了视频画面的“行云流水”。
事实上，这些画面并非全部都是相机拍摄而来。
陈宝权解释，假设每一台相机一个编号，画面是由1号、2号、3号相机连接起来呈现的，要想实现360度无死角看清楚比赛，拍摄的画面就要尽可能的多，这样画面才能流畅地连接起来，“但相机数量多了，传输的数据量就大了，传输、存储压力都会大，同时成本也会很高。”
如何兼顾画面的流畅度与传输的数据量和成本？项目组成员选择了在两台相机之间增加一个新视点，即设置一个“虚拟相机”，专门用来“脑补”两台相机之间可能的画面，“1号相机拍到了镜头，2号相机也有镜头，我们就用‘虚拟相机’计算出来你可能会在1号、2号之间看到什么样的场景。”
在播放时，这些由相机拍摄的画面和虚拟相机“脑补”的画面结合起来，即可实现画面的流畅过渡。“那怎么保证‘虚拟相机’计算出来的画面是准确合理的呢？”陈宝权解释，项目组为其配置一个“聪明大脑”——其中的关键是对已拍摄画面实施“三维重建”从而让新视点的合成变得可能。
有了平滑流畅的画面，接下来便是如何让观众实际享受到这种流畅。对此，项目组开发了自适应编码与传输技术，能够根据用户视点改变的意图来预测下一步趋势，进行有针对性的计算与数据传送。
“通过实时预测，避免了简单粗暴式的计算与数据传输，也保证了8K数据的高效供给用在流畅观看这个刚性需求的‘刀刃’上。”陈宝权表示，所有的计算都在云端完成，“数据传输到云端，计算完成之后，再传输到观看平台上。”
第一次在国家体育馆按照U型架设相机、测试冰球项目，第二次测试花样滑冰项目；第三次在五棵松体育中心按照O型架设相机，测试冰球项目……2021年4月起，陈宝权和项目团队成员在国家体育馆、五棵松体育中心等不同场馆，针对不同比赛项目开展了测试。
“每次测试都有一些不一样。”陈宝权回忆，第一次主要测试直播，看画面传输是否有问题，“刚开始每个相机的分辨率都设定在2K，后来慢慢提高到4K，这样整体画面会更清晰，当然这对计算能力还有数据传输都有了更高的要求。”
改进算法、智能追踪，未来探索更多可能
场地水平度会影响相机的架设、分辨率会影响画面质量……在一次次测试中，冰雪项目交互式多维度观赛体验技术与系统也在慢慢找到新的改进点。从2019年12月23日项目正式启动至今，短短两年多的时间，陈宝权带领着团队成员已经给项目画上了近乎圆满的句号。
陈宝权告诉记者，从系统升级的角度来讲，未来机位可能会进一步减少，“相机中间的画面可以利用这些相机画面重建，那从50个相机减少到40个相机甚至更少，也可能实现重建，只不过这对算法的‘聪明程度’有更高的期待。”
此外，陈宝权提出，目前设置的相机焦点都定位在场地中央，未来可能利用智能相机设备实现焦点移动和追踪，进而更清楚地展现某个运动员的风采，带来更震撼的观赛体验。
“未来我们还可能在这个基础上做另一种形式的呈现。”陈宝权播放了一段模拟运动员打冰球的视频，“其实相当于做了一个运动员的‘替身’，这其中的动作也都是从真实的比赛中提取出来的。转播相机可以满场追着运动员移动，相比于现在相机的设置，位置更加灵活，拍摄到的画面也更具吸引力。”
陈宝权表示，“倒不是说把这个给观众看，因为这毕竟是虚拟的，观众可能觉得没有真实感，像游戏。但对于裁判或者对于教练来说，如果要做比赛分析、复盘，将非常有意义。”
还有不到30天，2022年北京冬奥会将拉开帷幕，陈宝权带领着团队仍在为系统不断完善和升级。
新京报记者 杨菲菲 编辑 缪晨霞 校对 危卓