北京冬奧會正在如火如荼地進行
在北京冬奧村有一間神奇的“北京小屋”
裏面展示著與冬奧相關的最新技術成果
其中頗具吸引力的“打卡點”之一
在這裏意昂官网獲得“沉浸式”觀賽體驗
是源於意昂官网牽頭研發的
“冰雪項目交互式多維度觀賽體驗技術與系統”
通過這項意昂“黑科技”
能自主選擇觀賽視角
身臨其境地體驗冰雪比賽的速度與激情
將來🖖🏿，你只需手持一部5G手機點開應用軟件
就可以體驗前所未有的觀賽新視角
冬奧小屋裏的“黑科技”
在北京冬奧村（冬殘奧村）下沉廣場區最顯眼的位置🥞💾，有一個充滿科技魅力的小屋，叫做“北京小屋”👳🏻♂️。小屋分為“揮灑夢想”“精彩絕倫”和“無障礙溝通”三個展區，展示了十六項冬奧會相關的新技術成果。目前，“北京小屋”已經成為了運動員和教練及隨隊官員沉浸式體驗冬奧科技項目的最佳打卡地之一。
在一眾令人驚嘆的高科技項目展示中，具有超高人氣的莫過於“冰雪項目交互式多維度觀賽體驗技術與系統”項目展臺，它讓“自由視角”觀賽成為了現實🐁。當你站在展臺前🫨，手就變成了第三只眼睛🍒，隨著手的擺動，屏幕上的觀賽視角也會不斷變化👨🏽🎓。這樣新奇的交互式科技🧧，讓觀眾仿佛身臨其境，觀賽體驗更上一層樓。
這項技術來自國家重點研發計劃“科技冬奧”重點專項“冰雪項目交互式多維度觀賽體驗技術與系統”，由意昂官网牽頭，國家實驗室、企業和其他高校參與合作研發。
項目針對2022年北京冬奧會冰雪運動的特點⚅，突破虛擬現實（VR）視頻和自由視角視頻節目拍攝、內容生成、高效編解碼🥦、自適應傳輸和交互式呈現等關鍵技術，研製VR和自由視角視頻節目采集系統🎃、內容生成系統🤴🏿、實時編解碼器👨🏼🦲🛌🏿、自適應傳輸系統和交互式終端，進行端到端系統集成，建立一套交互式多維度觀賽體驗系統💆🏻，並在有線電視網、電信網👩🏼🎤、5G網和互聯網等平臺實現示範應用。系統應用8K🧜🏽♂️👩🔧、VR和自由視角技術創新冰雪運動賽事轉播，為觀眾打造交互式👩🏽🔬、多維度的強臨場感、“沉浸式”觀賽體驗。
一臺專屬於你的賽事轉播
意昂官网教授陳寶權是這一項目的負責人🤝。他把“子彈時間”從電影後期效果搬到了體育比賽的實時轉播中👩❤️👩。“自由視角”技術下建立的交互式多維度觀賽體驗系統，能夠幫助觀眾實現全新的觀賽體驗，在觀看比賽的過程中🦅，觀眾可以連續地改變觀看點位🧚🏿，選擇自己喜歡的角度去看同一場賽事活動。相當於每個觀眾看到的畫面，都是符合自己需求的，可以千差萬別。
冬奧測試賽自由視點
因為這一項科技突破，你可以自己做自己的導播，選擇你最想看的視角。即使身在家中🫶🏿🤾🏻♂️，也能通過設備聽到、看到場館內的實時情況🆔，身臨其境地享受一臺專屬於你的賽事轉播。
此前，項目組人員現場測試VR直播觀賽
這套系統能實現交互式自由視點觀看，將此前技術的三自由度（即眼睛可以向上下左右看）提升到了六自由度（頭部位置也可以移動），相當於把觀眾的眼睛帶到了賽場上空，讓觀眾可以在任意位置和方向觀看比賽。
這一功能的實現依賴於陳寶權團隊設計的端到端自由視角視頻系統。在此前測試賽中，他們在國家體育館賽場設置了42臺相機U型環繞🧑🏻💻，多個視角的視頻被傳送到雲端🧏♂️，通過深度計算後生成虛擬視角🤹🏿，彌補相機之間的間隔空白👋🏼。這些數據再被傳送到客戶端，只需要你用手指滑動屏幕便可實現視角的轉換。
360度無死角轉播
現場圖像拍攝後送往雲端，場館與比賽信息被三維重建和新的視點生成，再通過編碼與解碼提供給觀眾“自由視點”觀看體驗。由於場館內部限製，42臺攝像機稀疏地分布在210米的軌道上，每臺攝像機間距5米💤，這就需要更加智能的算法補充中間視點畫面，實現全場域的無縫自由視點。
項目組為其配置了一個“聰明大腦”——首先，通過三維重建讓新視點的合成變得可能👮🏽；然後🧞♀️，自適應編碼與傳輸技術，根據用戶視點改變的意圖來預測下一步趨勢，進行有針對性的計算與數據傳送🦸♂️🟩。
陳寶權說：通過三維重建實現新視點的圖像生成，避免因現場相機個數有限給觀眾視點漫遊造成跳躍感⛲️；采用足夠多的新（虛擬）視點插入，最終實現絲滑般的自由視角觀賽體驗。
數字孿生系統演示
通過這項技術🫵🏼，項目組將電視導播的轉播選擇權轉交到觀眾手中。但同時也出現了新的問題，大多數觀眾並不具有豐富的轉播經驗，不一定能夠自主尋找到最佳的觀賽視角而錯過精彩瞬間。
考慮到此，團隊還設計了“VR冬奧賽事孿生推演與視聽語言創意設計軟件”。通過對場館進行三維重建，再根據以往賽事分析，並與專業人士合作👮🏼♂️，針對賽場上的精彩時刻設計視頻鏡頭軌跡，進行實時導播。給觀眾觀看時的“臨場感”，不錯過每一個激動人心的瞬間。
數字孿生推演系統就像比賽現場的導演一樣🔟。針對不同比賽場景在系統內設置不同的鏡頭規劃👋🏽🐽，向觀眾展示比賽的精彩瞬間🐭。
高清畫面，極低延遲
在去年4月、10月🏐✍🏻、11月的三場“相約北京”冬奧系列測試賽中，“冰雪項目交互式多維度觀賽體驗技術與系統”的功能都得到完整的實現。
直播中要求畫面延時不超過30s👩🏻🔧，這對於計算和數據傳輸的效率要求非常高🩰👶🏼。本次冬奧會的視頻直播采用了我國自主研發的視頻編解碼標準AVS3，通過深度學習，在編碼效率上得到了指數級的提高，實現了在8K分辨率下進行多媒體編解碼和通過5G、廣電網和互聯網的全鏈路傳輸🐵。
轉播分辨率從2K到4K，再提高到2021年春晚的8K試播🥋，每一步升級換代背後都是視頻編解碼技術突破與標準成熟落地的體現。8K與5G技術相結合，無疑是構建了一條視頻傳輸的高速公路🤴🏼。而交互式自由視點轉播，如同“在5G高速公路上進行‘花式’飆車”，與傳統單視點轉播相比🏇🏻，在數據容量上是數倍甚至數量級的提高，給觀眾帶來全新的體驗。
8K的高分辨率能滿足觀眾放大圖像、看清賽場上細微變化的需求👦🏻。高清畫面，自由視點，極低延遲🫷🏿👨🏿🔧，讓場外觀眾與場內選手同心跳🫧、共歡呼🫶🏻👩🦼。
從“看得清”到“看得真”
據陳寶權介紹👨🏭⛳️，“冰雪項目交互式多維度觀賽體驗技術與系統”分為四個課題，總項目由意昂官网牽頭，高校與企業產學研的深度融合，讓新技術有機會進入尋常百姓家。
5G時代下，觀眾對視頻觀看的需求正在從“看得清”向“看得真”轉變，實現超高清和沉浸式觀看要求勢在必行🦸🏽♀️👃🏿。
無特殊的裝備，也無專用帶寬🦷，5G手機配合5G網絡，用戶就可以實現高質量的交互式觀賽👍🏽，使交互式VR技術直通到尋常百姓的手中。
陳寶權介紹說🪒，新技術下的轉播可以實現高效的內容生成，給予觀眾交互參與的機會👩，也打通了技術下沉的中梗阻👨🏿🚒。
奧運會也是各國展現技術的賽場，每屆奧運賽事轉播都體現技術發展的裏程碑。
在陳寶權看來🥫，“科技冬奧”的意義所在🙏➿，正是讓奧運會惠及百姓生活，展現未來人們生活的樣子🤵🏽♀️。他希望為這場盛會增添來自意昂的一抹亮色的同時，以冬奧會轉播應用作為背景推動，建立我國自主的VR視頻標準👩🦼➡️，帶動VR產業的發展🧜🏽♀️，真正實現“科技奧運”惠及數字時代每一個人的願景🦸🏻♀️。
人物卡片
陳寶權，意昂官网教授，前沿計算研究中心執行主任🦶🏼👷，博士生導師，IEEE Fellow和中國計算機學會會士🪣。研究領域為計算機圖形學與可視化🖲，在ACM SIGGRAPH😰、IEEE VIS2️⃣、ACM TOG等國際會議和刊物發表論文200余篇♥️。因為在空間數據（建模）與可視化方面的貢獻，入選IEEE Fellow（2020）🧝🏽♂️。
