摘要：在觀察、思辨、項目實踐及實驗的基礎上，提出了基于AR的演藝元宇宙的設計原則，即需要充分體現(xiàn)虛實融合的主要特點，充分體現(xiàn)虛實融合演藝部分的必要性，充分體現(xiàn)虛實融合演藝部分的合理性，充分理解故事題材及情節(jié)，充分考慮觀眾的觀看體驗，以及充分考慮演出設計與制作成本；同時，探討了基于AR的演藝元宇宙可選擇的幾類題材類型，如包含夢境幻境、鬼怪精靈、時空穿越、數(shù)實結合、探索情節(jié)或其他必要交互等類型的故事題材；最后，提出了基于AR的演藝元宇宙的設計策略，主要包括：傳統(tǒng)導演與數(shù)字導演的相互協(xié)作，現(xiàn)場演藝中合理切入虛擬演藝，現(xiàn)場情節(jié)與虛擬情節(jié)的合理互補，真人演員與數(shù)字人演員的默契配合，現(xiàn)場實景與虛擬場景的交相輝映，真實道具與虛擬道具的巧妙切換等。

作者簡介：陳永東，上海戲劇學院藝術科技與管理學院教授，上海市虛擬環(huán)境下的文藝創(chuàng)作實驗室副主任，中國文化產業(yè)協(xié)會文化元宇宙專業(yè)委員會高級專家委員

一、引言 

元宇宙應用不斷滲透到演藝領域，逐漸形成了演藝元宇宙的概念。同時，演藝元宇宙以極強的包容力將VR（virtual reality，虛擬現(xiàn)實）、AR（augmented reality，增強現(xiàn)實）、MR（mixed reality，混合現(xiàn)實）、裸眼3D、數(shù)字人及數(shù)字藏品等吸納進來。

目前，元宇宙通常被劃分為三個世界：數(shù)字原生的虛擬世界（或純虛擬的世界）、數(shù)字孿生的極速版真實世界、虛實融合（或數(shù)實融合）的高能版現(xiàn)實世界。在此基礎上，相應的演藝元宇宙亦可分為三個世界：數(shù)字原生的演藝世界、數(shù)字孿生的演藝世界、虛實融合的演藝世界。

基于AR的演藝元宇宙屬于虛實融合的高能版現(xiàn)實演藝世界，其在未來幾年可能將快速發(fā)展。原因主要是基于AR的演藝元宇宙符合“以虛促實、以虛強實”的政策導向、AR相關硬件制造成本不斷下降、觀眾的接受程度不斷提高，這將促使基于AR的演藝元宇宙相關應用門檻不斷下降。

對于基于AR的演藝元宇宙應用，需要認真研究其基本的設計原則，思考適合其表現(xiàn)的演藝故事題材，并在實踐中認真總結基于AR的演藝元宇宙的相關設計策略。

二、基于AR的演藝元宇宙設計原則 

為了使基于AR的演藝元宇宙的設計更加科學合理，需要一些基本原則，以使其充分體現(xiàn)自身的特點與優(yōu)勢。

基于AR的演藝元宇宙設計必須充分體現(xiàn)AR的基本特點—虛實融合。在前述的演藝元宇宙的三個世界里，虛實融合的演藝世界可以將另外兩個世界（數(shù)字原生的演藝世界、數(shù)字孿生的演藝世界）中的虛擬演藝內容及其他影像疊加到現(xiàn)實世界的演出空間中，進而體現(xiàn)出虛實融合這一突出特點。

基于AR的演藝元宇宙具有沉浸式演藝或沉浸式戲劇的一些特點。有觀點認為，沉浸式戲劇最早起源于美國戲劇家理查·謝克納（Richard Schechner）提出的“環(huán)境戲劇”（environmental theatre），沉浸式戲劇的本質也是環(huán)境戲劇。謝克納曾經在論文《環(huán)境戲劇六原則》中提到環(huán)境戲劇的第二、四條原則：“所有的空間都為表演所用；所有的空間也都為觀眾所用。”“焦點是靈活可變的。”目前，多數(shù)沉浸式戲劇更多表現(xiàn)在觀眾席與演出區(qū)域沒有明顯的界線，演員可能與觀眾進行一定的互動，觀眾可以選擇不同的路線跟隨不同演員的表演路徑等，這些與基于AR的演藝元宇宙很相似。

實際上，從元宇宙的特點看，不論基于VR、AR或MR中的哪一種技術，演藝元宇宙中的體驗通常都比純線下的沉浸式演藝或沉浸式戲劇的體驗更加沉浸。如果說基于VR的演藝元宇宙主要是3D環(huán)繞的場景、3D的數(shù)字人演員、3D的虛擬道具等給觀眾帶來了更加沉浸的觀看體驗的話，那么基于AR、VR、MR的演藝元宇宙則是通過把虛擬場景、數(shù)字人演員、虛擬道具及它們的動態(tài)影像疊加到現(xiàn)實演藝空間而給觀眾提供了更加沉浸的體驗。并且，基于AR的演藝元宇宙更加突出了虛實融合這一可以增強觀眾體驗的特點。

任何新的演藝方式都需要考慮其存在的必要性，基于AR的演藝元宇宙中虛實融合的演藝部分也需要充分體現(xiàn)其必要性。如果一種貌似新潮的演藝方式不是完全必要的話，那么在時間、經費、設備或人員緊張時，往往會首先被簡化或邊緣化，甚至被刪減或摒棄。

實際上，在傳統(tǒng)的線下環(huán)境戲劇或沉浸式戲劇的表演中，也經常出現(xiàn)對此類演藝方式的某些環(huán)節(jié)是否有必要的質疑。例如，有時演員與觀眾的互動似乎沒有必要，類似的問題也出現(xiàn)在基于AR的演藝元宇宙應用中。因而必須認真思考的基本問題是，哪些虛擬場景、數(shù)字人演員、虛擬道具及它們的動態(tài)影像更適合或有必要疊加到現(xiàn)實演藝空間？

考慮虛實融合演藝部分必要性的出發(fā)點主要在于，這些被疊加的虛擬信息比傳統(tǒng)的演出方式更有利于優(yōu)化觀眾的體驗、這些被疊加的虛擬信息比傳統(tǒng)的演出方式更有利于幫助觀眾理解整個劇情、這些被疊加的虛擬信息比傳統(tǒng)的演出方式實現(xiàn)的難度更小或成本更低，或者是這些被疊加的虛擬信息比傳統(tǒng)的演出方式在呈現(xiàn)或切換時所花費的時間更短。

需要注意的是，有必要的東西未見得是合理的。正如亞里士多德提到的可然律與必然律：詩人的職責不在于描述已經發(fā)生的事，而在于描述可能發(fā)生的事，即根據(jù)可然或必然的原則可能發(fā)生的事。這一規(guī)則不僅適用于劇情的構思，也適用于觀眾以AR方式實現(xiàn)觀看或交互體驗的設計。

在以AR方式實現(xiàn)觀眾觀看體驗的設計中，演藝元宇宙作品的策劃者、導演、編劇及數(shù)字藝術設計師等的任務不只在于如何給觀眾提供AR觀看體驗，而在于如何讓AR觀看體驗的步驟、順序與過程變得更合理，并需要考慮觀眾在進行AR觀看體驗時的身體及心理的變化。特別是，需要考慮在什么時間點、什么位置出現(xiàn)觀眾需要的虛擬信息。

在以AR方式實現(xiàn)觀眾交互體驗的設計中，演藝元宇宙作品的策劃者、導演、編劇及數(shù)字藝術設計師等的任務亦在于如何讓AR交互提示方式、體驗方式、體驗順序及所呈現(xiàn)信息的方式顯得盡可能合理。例如，在掃描現(xiàn)實世界某個對象后出現(xiàn)虛擬信息的AR交互時，需要思考用戶是否自然而然地想到需要掃描什么信息以及怎么掃描，是否需要給觀眾以不影響整體觀看體驗為前提的某種提示。

在設計基于AR的演藝元宇宙時，必須充分理解項目對應的演藝故事的相關題材及情節(jié)，發(fā)掘其中更適合用AR方式展示的情節(jié)或場景，并將其以最合適的方式融入演藝元宇宙的作品中。這不僅需要認真通讀故事劇本，熟悉故事的各條線索，還需要深入理解故事的核心價值。

劇本是戲劇藝術創(chuàng)作的文本基礎，它為導演、演員提供了明確的指導和依據(jù)。數(shù)字技術可以為基于AR的演藝元宇宙作品創(chuàng)作提供更多的表達可能性，但最終呈現(xiàn)的藝術效果和質量，不僅取決于劇本的質量和深度，還取決于導演與數(shù)字藝術設計師對劇本的理解程度，以及是否可以從劇本中發(fā)掘出更多適合AR表現(xiàn)的地方。

同時，理解故事的核心價值是非常重要的，它決定了基于AR的演藝元宇宙作品的高度與深度。雖然元宇宙演藝敘事從傳統(tǒng)的線性敘事進化到了非線性敘事、交互敘事、多故事線敘事等，但所選的故事題材所要反映的核心價值仍然是其表現(xiàn)的重點。使用AR技術的優(yōu)勢及目標之一應該是，通過更豐富的交互讓觀眾更深刻地體驗到故事的核心價值。

基于AR的演藝元宇宙中，觀眾的觀看體驗主要是虛實融合的沉浸式體驗，如何充分考慮這一體驗尤為重要。對于沉浸式體驗，S.A.杰克遜（S.A.Jackson）和H.W.馬什（H.W.Marsh）曾提出九因子模型。

第一，清楚的目標：確切地知道自己所做的活動，明確其意義和結果。

第二，自覺體驗：沉浸體驗的最終結果，為了自己的渴望而工作，不是因為對后來獎勵的期望，本質上存在收獲感的體驗。

第三，挑戰(zhàn)—技能平衡：對情境需求和個人技能平衡的感知。

第四，潛在的控制感：控制事件的力量，這種控制感在沉浸體驗中并不是有意識達成的。

第五，專注任務：高度集中的注意力，徹底的而緊張的專注感。

第六，明確的反饋：獲得迅速和清楚的反饋，確定所有事情都按計劃執(zhí)行的感覺，對個體行為迅速和清楚的監(jiān)督。

第七，行動—意識融合：投入程度太深，以至于產生了自動化的行為。

第八，時間感扭曲：時間過得更快或更慢，或者不會意識到時間的流逝。

第九，失去自我意識：自我消失了，個體與任務合為一體，缺乏對自我的控制[6]。

第八、第九所述的狀態(tài)或許有些過頭，但前面七個因子對基于AR技術為觀眾提供沉浸式體驗有重要的借鑒價值。特別是，第二個因子中強調的“收獲感的體驗”對基于AR的演藝元宇宙設計是一個重要的提醒。

觀眾體驗還可以從更細致的角度劃分為若干個維度及體驗要素。有研究觀點稱，在具身理論視角下，沉浸式旅游演藝產品的游客體驗是以身體沉浸、情景沉浸與感知沉浸為核心，拓展為多感官沉浸體驗、身體感沉浸體驗、觀演互動沉浸體驗、物理情境沉浸體驗、社會情境沉浸體驗、氛圍情境沉浸體驗、認知沉浸體驗和意義沉浸體驗8個維度，是包含視、聽、嗅、味、觸覺體驗，本體狀態(tài)體驗，運動狀態(tài)體驗等27個體驗要素綜合作用的結果。這對于基于AR的演藝元宇宙觀眾體驗設計亦有重要的參考價值。相對而言，過去的AR研究對物理情境沉浸體驗、社會情境沉浸體驗、認知沉浸體驗和意義沉浸體驗等重視程度不夠。

任何一個演出都需要考慮設計與制作成本，基于AR的演藝元宇宙相關項目的設計也不例外。相比過去，雖然基于AR的演藝元宇宙項目的成本總體呈現(xiàn)明顯的下降趨勢，但是仍然需要根據(jù)具體情況及市場行情進行精打細算。特別是，在近年來總體經濟下滑、演出經費投入可能消減或不足的情況下，更需要考慮如何有效地降低演出設計與制作成本。

除了認真核算演出相關的軟件硬件設備、設計師的設計費用，進行規(guī)范招標比價之外，還需要考慮更加實惠的設計方案。目前，一些引擎中有較多現(xiàn)成的數(shù)字資產，在建模時可以充分利用。近年來興起的AIGC工具也可以提升內容生成效率，同時還有一些人工智能接口可以遠程調用。

此外，有時可能不得不考慮適當降低觀眾體驗層次，或者采用相對低成本的替代設計方案，進而適當簡化功能以降低設計成本。例如，在AR體驗所需的3D虛擬信息建設成本可能很高時，作品未必全部都要使用3D建模，可以在演藝元宇宙場景設計中局部采用3D建模的方式，而其他地方可以采用貼圖、全景圖或全景視頻的方式，或采用非寫實的方式（如水墨或寫意畫面）。有時可以采用“二渲三”的方式，即使用3D建模軟件創(chuàng)建角色和場景，然后使用2D手繪技術為這些模型著色和添加紋理。有時，為了達到虛實融合的體驗，可以采用裸眼3D大屏、全息投影或激光投影等方式。

三、基于AR的演藝元宇宙題材選擇 

基于AR的演藝元宇宙應用需要選擇合適的題材。相對而言，有一些類型的故事題材更加適合使用AR來表現(xiàn)，如包含夢境幻境、鬼怪精靈、時空穿越、數(shù)實結合、探索情節(jié)或其他必要交互等類型的故事題材。

對于包含夢境或幻境的故事題材，在進行基于AR的演藝元宇宙設計時，可以將非夢境或幻境的場景放到現(xiàn)實演藝空間中呈現(xiàn)，將夢境或幻境場景中所包含的影像信息以虛擬的方式疊加到現(xiàn)實演藝空間中。

例如，莎士比亞的《哈姆雷特》中哈姆雷特父親的亡魂給哈姆雷特的托夢、蒲松齡的《聊齋志異》中的不少夢境，都適合用AR虛擬影像來表現(xiàn)。特別是，當現(xiàn)實演藝空間較難表現(xiàn)夢境或幻境，或現(xiàn)場切換場景太麻煩時，AR則顯得更加合適。例如，明代劇作家湯顯祖的“臨川四夢”（又稱“玉茗堂四夢”，即《牡丹亭》《紫釵記》《邯鄲記》《南柯記》）皆有夢境，適合用AR來呈現(xiàn)。上海戲劇學院數(shù)字媒體藝術2023屆本科畢業(yè)生潘珠鋆的畢業(yè)作品《游園驚夢》（由鐵鐘、俞瑋婭老師指導）在沉浸式影像中包含了類似裸眼3D的AR形式的虛實融合的沉浸式演藝成分，其中虛擬影像更多用于表現(xiàn)夢境。如果該作品能配合現(xiàn)場的表演，可能會達到更好的虛實融合的效果。

再比如，在曹雪芹的《紅樓夢》中，夢境及幻境亦是頻繁出現(xiàn)的場景。其中，賈寶玉夢游太虛幻境，見到了自己未來的命運；林黛玉的夢境則常常預示著她的悲劇結局。這些夢境不僅是故事中的重要情節(jié)，還反映出現(xiàn)實與虛幻之間微妙的關系。在現(xiàn)場演出時，這些場景用AR方式疊加到現(xiàn)場則較為適合。

鬼怪精靈之類的故事情節(jié)較為適合用AR表現(xiàn)的主要原因在于：

第一，鬼怪精靈往往出現(xiàn)在神秘、恐怖、詭異等超自然的場景中，與現(xiàn)實演藝空間的場景差別較大；

第二，鬼怪精靈出現(xiàn)在雷電、煙霧、云朵、水柱等場景，此類實景制作的難度相對較大；

第三，鬼怪精靈的造型往往較為奇特，此類造型的實體服飾、化妝及道具的制作難度相對較大。這些問題由AR解決則效率更高。

以莎士比亞的知名戲劇《麥克白》為例，劇中麥克白將軍為國王平叛和抵御入侵立功歸來，路上遇到三個女巫。女巫對他說，他將進爵為王，但他的子嗣不能繼承王位，而同僚班柯將軍的后代要做王。對于這一女巫出現(xiàn)的場景，現(xiàn)場演藝中就可能遇到上述幾個問題，用AR會處理得更好。

國家大劇院、中央廣播電視總臺央視網以及中國（北京）星光視聽產業(yè)基地三大行業(yè)領域巨頭聯(lián)合呈現(xiàn)的中國首部XR數(shù)字戲劇《麥克白》針對上述問題進行了積極嘗試與實驗。在該作品的開場，麥克白抱著死去的麥克白夫人緩緩走向巨大的女巫雕像，鏡頭隨炸裂的雕像推向黑色的深淵；女巫們從黑色大地深處蠕動蘇醒，電影蒙太奇時空與戲劇舞臺視覺不斷切換。從某種意義上講，XR數(shù)字戲劇《麥克白》可以算作采用AR方式拍攝的電影，其通過XR技術動態(tài)追蹤演員與虛擬場景的實時交互過程，實時渲染輸出虛擬場景與演員真情表演相融合的畫面。

時空穿越之類的故事情節(jié)較為適合AR表現(xiàn)的主要原因在于，時空穿越的情節(jié)至少包含了兩個不同的時空，它們可以分別利用現(xiàn)實演藝空間及虛擬演藝空間來呈現(xiàn)。在正常的普通時空中，用現(xiàn)實演藝空間呈現(xiàn)表演；在需要穿越到另一個時空時，用虛擬演藝空間加以呈現(xiàn)。

有時，可以通過AR將古代的虛擬演藝影像疊加到現(xiàn)代的場景，進而形成古代與現(xiàn)代的時空穿越。一些文旅景區(qū)即采用了類似的方法為游客提供基于AR的沉浸式展演體驗。例如，西安的“雁塔流光”沉浸式AR秀，即通過AR技術，實現(xiàn)以真實大雁塔為背景的唐朝盛景和現(xiàn)代長安景象的交相輝映，光影變換，為游客營造了時空穿越的體驗。

基于AR的演藝元宇宙的兩個空間還可以有不同的時間線，由觀眾自由選擇。加利福尼亞大學洛杉磯分校（University of California，Los Angeles，UCLA）的工程、媒體和表演研究中心（The Center for Research in Engineering，Media and Performance，REMAP）推出的《高堡奇人：摯愛之國》是基于虛幻引擎打造的沉浸式AR實驗性戲劇，講述了一個架空歷史的故事。在該沉浸式AR實驗性戲劇中，導演通過AR技術將劇情劃分為兩條時間線：在真人演出部分，觀眾可看到一個平行世界；在AR構建的世界中，觀眾通過智能平板設備，可看到由AR呈現(xiàn)的內容，虛擬的場景疊加在真實場景之上。

AR的基本特點就是虛實融合或數(shù)實結合，如果故事題材中本來就包含了數(shù)實結合的情節(jié)，那么此時的演出使用AR就再合適不過。例如，虛擬拍攝經常采用數(shù)實結合的AR方式打造演藝元宇宙，利用環(huán)屏中的影像展示數(shù)字化的虛擬內容，現(xiàn)場則僅需相對簡單的實景道具及智能燈陣相配合。LED虛擬化制作有效避免了人員的大規(guī)模流動，減少了劇組的跨區(qū)域拍攝，在固定的攝影棚內就能完成“無限轉場”。一些科幻題材的故事或朋克風格的場面更可能出現(xiàn)需要用數(shù)字化手段呈現(xiàn)的虛擬場景或特效。

用數(shù)實結合的AR方式打造的演藝元宇宙也可以使用微縮的真實場景，再配合以虛擬的影像來豐富觀眾的觀看體驗。由上海戲劇學院張敬平教授領銜設計的XR沉浸式戲劇《黛玉葬花》借助VR、AR技術將虛擬越劇演員與真實的舞美相結合，向觀眾展現(xiàn)了一種新的數(shù)字化戲劇觀演方式。通過3D建模、3D打印等形式，作品將“榮國府”“三生石畔”等書中的場景微縮再現(xiàn)，觀眾可通過佩戴AR頭顯設備或借助平板設備看到虛擬的越劇演員在對應微縮場景中的表演。

如果演出的舞臺設計本來就需要數(shù)實結合的場景，那么AR的參與也是較為合理的選擇，只是虛擬信息的呈現(xiàn)可以有多種不同的選擇，如全息投影、激光投影等裸眼3D方式。例如，2024年4月，大型AR幻影成像+真人演藝劇場《屈原》在長沙上演，以全息投影技術營造的逼真場景和舞臺表演，將高科技舞臺與真人表演完美結合，通過創(chuàng)新水墨畫風格和動態(tài)特效，生動再現(xiàn)了屈原的家國情懷，并營造出如夢如幻的離騷幻想“詩界”。

有些故事包含了探索的情節(jié)，可以利用AR實現(xiàn)這些探索情節(jié)。對于偵探類故事中的探索情節(jié)，在演出時可以將其中一些放在現(xiàn)場演藝空間的表演中，而將另一些現(xiàn)場較難表現(xiàn)的探索情節(jié)放在AR的虛擬場景中。基于AR的探索情節(jié)設計本質上還是交互的一種，但其主要目的是讓觀眾獲得更多關于演出故事的線索，以便更好地理解故事。

有些探索情節(jié)可能是導演或編劇在表現(xiàn)故事時故意留下的懸念，而AR則可以調動觀眾參與到包含懸念的線索解密中。例如，在上海戲劇學院2024屆數(shù)字藝術設計藝術碩士（MFA）畢業(yè)生朱貝銘的畢業(yè)作品AR戲劇《行星獨行》（由陳永東、劉志新老師指導）中，觀眾需要至少進行兩次探索才能更加清楚地了解故事的主要線索，方可理解劇中角色爭吵的原因、相關角色之間的關系，以及發(fā)生在他們身上的相關故事線索。

從某種意義上講，此時基于AR的演藝元宇宙體驗已經類似于AR游戲，進而出現(xiàn)了游戲戲劇化、戲劇游戲化的趨勢。因此，可以借鑒沉浸感、探索性同樣突出的“劇本殺”吸引觀眾探尋線索的方法。有觀點認為，戲劇和游戲領域都產生出跨媒介、跨領域的交融模式，“劇本殺”就是這個時代的娛樂產品相融合的典型代表。可以說它是戲劇的游戲化，也可以說它是游戲的戲劇化，在這二者之間，它吸收了彼此的優(yōu)勢。

基于AR的演藝元宇宙在應用時可以提供更多不同方式的交互，如觀眾與數(shù)字人演員或NPC（non-player character，非玩家角色）的互動，觀眾與現(xiàn)場演出場景的互動，觀眾通過掃描演出海報、場刊獲得更多影像信息的AR交互，以及觀眾以AR方式參與與演出相關的尋寶活動。

2017年10月，在第十九屆中國上海國際藝術節(jié)的上海嘉定互動戲劇節(jié)上，由美國建造者聯(lián)盟（The Builders Association）制作的AR互動戲劇《仙蹤元素》（Elements of Oz）進行了片段演示，該AR互動戲劇取材于《綠野仙蹤》（The Wizard of Oz）。觀眾在觀看戲劇之前，需要在手機中下載相應的APP。在劇情推進中，主創(chuàng)人員會提示觀眾打開應用，舉起手機對著舞臺四周來回移動，屏幕上則會出現(xiàn)水晶魔法球、龍卷風、飛天猴子等各種特效。這一方式用AR技術創(chuàng)造出一層豐富的圖像，使其與舞臺動作相融合。

在AR戲劇《行星獨行》的推廣中，海報、場刊及尋寶活動亦引入了AR交互。觀眾可以打開手機小程序識別海報，從而看到海報的動態(tài)樣式，其中有劇中角色林照處于轉動的黑洞之中的動態(tài)影像，表現(xiàn)其在生活中的掙扎與糾結。同時，觀眾可以通過小程序識別場刊，看到一個“小黑人”正在仰視上方的星球，觀眾可以將其與自己喜歡的現(xiàn)實場景進行搭配，拍照留念。此外，觀眾可以通過小程序識別校園中的特定標識，尋找有關戲劇的AR物品線索，進行打卡記錄，并在后續(xù)憑借打開內容獲得紀念品。多種形式的AR體驗讓觀眾有了更多的參與感。

四、基于AR的演藝元宇宙設計策略 

在具體設計基于AR的演藝元宇宙作品時，需要在充分體現(xiàn)前面提到的基本原則的同時，深入思考并認真研究相應的設計策略。一場演出的主要元素包括空間、情節(jié)、演員、場景、道具及觀眾等，基于AR的演藝元宇宙設計不僅需要傳統(tǒng)導演與數(shù)字導演在充分溝通的基礎上考慮空間與觀眾元素，而且還需要在情節(jié)、演員、場景及道具等方面盡量突出虛實融合的特點。

基于AR的元宇宙演藝項目與傳統(tǒng)演藝項目有較大的不同，需要相關導演對它有充分的理解。AR通過信息、圖像、交互的三向增強讓用戶更直觀地享受虛實結合帶來的視覺沖擊，完成實時交互的同時讓觀眾沉浸其中。元宇宙技術的賦能使戲劇舞臺場景虛實相生，強化了劇場演出的“沉浸式”氛圍。虛實融合及虛實相生都需要導演具備新的認識與理解。

目前，在數(shù)字演藝項目中已經出現(xiàn)了數(shù)字導演崗位。由于基于AR的元宇宙演藝項目必然會涉及現(xiàn)場演出，那么就可能同時需要數(shù)字導演與傳統(tǒng)導演兩個崗位，并且需要二者進行充分的溝通。一方面，傳統(tǒng)導演需要學習基于AR的元宇宙演藝的特點；另一方面，數(shù)字導演亦需要了解傳統(tǒng)導演的工作內容。只有雙方充分溝通，相互理解，相互協(xié)作，才能更好地完成基于AR的元宇宙演藝項目設計。

數(shù)字導演及傳統(tǒng)導演都需要保持開放協(xié)作的心態(tài)，都需要花時間傾聽對方的想法、意見與建議，并在理解的基礎上對演出的各方面達成共識。強調這一點的原因在于，多數(shù)情況下，傳統(tǒng)導演由于熟悉現(xiàn)場表演各環(huán)節(jié)而表現(xiàn)得相對強勢，數(shù)字導演則由于不大擅長需求表達與溝通而顯得相對弱勢，那么就可能影響演出中具有AR特點內容的充分表現(xiàn)。

如前文設計原則所述，需要在基于AR的演藝元宇宙設計中充分體現(xiàn)虛實融合演藝部分的必要性及合理性。必須深入研究思考如何在現(xiàn)場演藝中合理地切入虛擬演藝內容。在個性化選擇及交互化操作的基礎上，觀眾往往通過非線性敘事、多故事線敘事等方式體驗AR的元宇宙演藝項目，同時也可能需要現(xiàn)場敘事與虛擬敘事的相互穿插。

相比傳統(tǒng)演藝項目，基于AR的元宇宙演藝項目的敘事在時間及空間上都出現(xiàn)了較大變化。AR交互式敘事在時間上由用戶進行創(chuàng)建，并參與到敘事的環(huán)節(jié)中去，作品的價值一定程度上也由用戶的選擇而產生。AR的形式使得敘事在故事空間上有了更大的可能性，擴展了敘事空間的邊界。故事空間也可以和現(xiàn)實空間相結合，使現(xiàn)實空間參與到敘事空間，共同完成敘事。這種共同敘事則需要反復琢磨如何將現(xiàn)場敘事與虛擬敘事進行合理銜接。

在設計基于AR的元宇宙演藝項目時，對于現(xiàn)場敘事切入虛擬敘事的環(huán)節(jié)，既可以采取現(xiàn)場演出暫停以體驗虛擬場景的方式，也可以采取在現(xiàn)場演藝進行的同時體驗虛擬場景的方式。對于前者，需要為虛擬場景留下必要的故事線索；對于后者，則需要合理設計虛擬場景交互的時間節(jié)點。2023年11月光點新媒體藝術節(jié)組委會推出的《聲聲入境Audio-Visual Live》沉浸式跨媒體演出在現(xiàn)場演出投影過程中不時出現(xiàn)時長十幾秒的二維碼，觀眾通過手機或平板掃描后，可以通過AR方式看到所疊加的虛擬演藝影像。

在任何一個演出中，情節(jié)都是較為重要的部分，基于AR的元宇宙演藝項目亦需要重視情節(jié)，并注意將現(xiàn)場表演的情節(jié)與虛擬場景中的情節(jié)有機地融合，使二者合理地互補。需要仔細斟酌的是，究竟哪些情節(jié)更適合放在現(xiàn)場表演中，哪些情節(jié)更適合放在虛擬場景中。

實際上，VR與AR中涉及的虛擬空間已經成為新的“特定場域”（site-specific）。有觀點認為，數(shù)字媒介技術在各類環(huán)境空間基礎上構建出全新的表演場域。表演者在媒介所呈現(xiàn)的仿真環(huán)境中展開交互表演行為，環(huán)境信息和媒介信息相互結合，共同構成了引導表演者認知和行動的場域。由環(huán)境空間和數(shù)字媒介共同創(chuàng)造的表演現(xiàn)場極大地釋放了交互表演的表現(xiàn)能力。被媒介重新塑造的表演空間形成了具有獨特精神的“特定場域”。這里的“環(huán)境空間”既可以是傳統(tǒng)的現(xiàn)場表演空間，也可以是特定場域的現(xiàn)場表演空間。只不過，演藝領域現(xiàn)在可以充分利用新的特定場域類型—數(shù)字或虛擬的表演空間。

現(xiàn)場情節(jié)與虛擬情節(jié)的互補需要充分考慮觀眾通常的觀看習慣（涉及行為學），研究觀眾心理，認真揣摩各種可能性，并為觀眾提供清晰易懂的提示或引導（如文字、聲音、符號、明暗、顏色、數(shù)字人手勢等）。AR戲劇《行星獨行》通過非線性的敘事體驗方式，借助AR技術創(chuàng)造虛實融合的戲劇呈現(xiàn)方式，營造沉浸式的體驗感。觀眾可以通過平板設備識別出AR場景，然后點擊相關場景中的物件進行交互，通過搜尋演出的相關線索以了解隱藏的劇情，進而達到對現(xiàn)場戲劇情節(jié)內容的補充。

毋庸置疑，數(shù)字人演員將不斷出現(xiàn)在演藝領域，并且與真人演員產生更多的合作。一方面，隨著數(shù)字虛擬人技術的成熟，虛擬劇場里的演員也將是數(shù)字虛擬演員，體驗者與數(shù)字虛擬人共同參與整個戲劇的生成[14]；另一方面，數(shù)字人演員與真人演員之間將進行更多交互，相互配合完成相對復雜的表演。在以色列企業(yè)AR Show制作的AR戲劇《格列佛游記》中，觀眾可通過使用專門設計的AR眼鏡目睹“真實+虛擬”演員在“虛擬+真實”的空間中進行表演，如小人國居民（由真人演員扮演）在虛擬的森林場景中穿梭，虛擬的巨型貓與人形玩偶在現(xiàn)實場景中與真人演員嬉戲等。

在基于AR的演藝元宇宙中，真人演員與數(shù)字人演員可以配合進行更復雜的表演。例如，2022年北京衛(wèi)視春節(jié)聯(lián)歡晚會中，真人演員劉宇與數(shù)字人演員“蘇小妹”共同演繹了節(jié)目《星河入夢》，由于虛實結合舞臺的特殊性，導演組對于鏡頭畫面、舞臺配合等都要求極高，真人演員劉宇的舞臺走位需要每一遍都做到完全一致，彩排、空鏡錄制及最終錄制均花費了數(shù)小時。

可以進一步賦予數(shù)字人演員性格特征，進而使其與真人演員結合的表演更加自然生動。虛擬角色的靈魂或許主要表現(xiàn)在其內心世界、情感狀態(tài)及動機等方面。上海戲劇學院數(shù)字媒體藝術2024屆本科畢業(yè)生金江旭的畢業(yè)作品新媒體舞蹈《高手》（由張敬平、戴煒老師指導），不僅賦予虛擬角色具體的性格特征，而且通過設置角色間的關系以及情感沖突來豐富角色形象。

在基于AR的演藝元宇宙設計中，現(xiàn)場實景與虛擬場景可以緊密結合，相互補充，進而達到交相輝映的綜合場景表現(xiàn)效果。AR能夠無縫融合“虛”和“實”兩個時空場域，可以更富表現(xiàn)力地展現(xiàn)故事的應景景象，將用戶的體驗維度從2D平面拓展到3D空間，增強呈現(xiàn)高度仿真的“真實”場景及聲像，將觀者帶入另一番場景。此時，虛擬場景可以彌補現(xiàn)場實景的不足，并與現(xiàn)場實景分別發(fā)揮各自的優(yōu)勢。

現(xiàn)場實景與虛擬場景的配合可以使觀眾有更加強烈的體驗，進而讓基于AR的演藝元宇宙更加具有臨場性與沉浸性。Rokid、哈皮木偶及深湖科技共同為烏鎮(zhèn)戲劇節(jié)打造的AR木偶戲《即將消失的海洋動物》通過AR技術，將木偶、演員的現(xiàn)實場景與虛擬海洋世界景象融合到了一起，創(chuàng)造了一個夢幻般的“神奇世界”。同時，觀眾可以通過互動更加深入地參與到戲劇表演中，獲得獨特的觀演體驗。

現(xiàn)場實景與虛擬場景的緊密配合可以拓展觀眾對現(xiàn)實和虛擬世界的感知邊界，實現(xiàn)現(xiàn)實與虛擬感知邊界與感知體驗的交叉融合。例如，上海戲劇學院2024屆本科畢業(yè)生陳琪的畢業(yè)作品AR新媒體演藝《水芫花001號》（由鐵鐘、韓生老師指導）在圖像小說的敘事基礎上，利用插畫創(chuàng)造了一個虛擬3D場景，觀眾可以通過移動設備與數(shù)字場景展開互動，實現(xiàn)了虛擬場景與現(xiàn)場實景的有機融合。

在基于AR的演藝元宇宙設計中，真實道具與虛擬道具可以有更多更巧妙的切換。例如，兒童AR戲劇《格列佛游記》呈現(xiàn)了虛擬的背景和道具與真實演員相結合的表演。又如，2019年江蘇衛(wèi)視跨年演唱會上，歌手薛之謙與虛擬歌手洛天依配合表演節(jié)目《達拉崩吧》，歌曲中的人物與真人歌手的道具也是由AR視覺效果呈現(xiàn)出來的，即在真實的環(huán)境中疊加了虛擬的人物、道具。

在基于AR的傳統(tǒng)戲曲元宇宙表演中，可能需要適當保留一些傳統(tǒng)的程式化、虛擬化的戲曲道具。AR虛擬視覺內容不能替代真實的戲曲道具，要保持戲曲道具的存在感。在傳統(tǒng)戲曲表演中，演員只需要用一根馬鞭、一支船槳、一面旗子就可以表現(xiàn)相應的場面，這些虛擬化的道具在AR戲曲表演時需要加以保留，以保持傳統(tǒng)戲曲的“原汁原味”。

在基于AR的傳統(tǒng)戲曲元宇宙表演中，虛擬道具可能具有“雙重虛擬性”。一方面，中國傳統(tǒng)戲曲表演中所使用的道具本來就有“虛擬性”特征，具有替代實體道具的簡化作用；另一方面，如上所述，為了保持傳統(tǒng)戲曲的原有特點，可在AR戲曲設計中以虛擬的形式呈現(xiàn)傳統(tǒng)戲曲現(xiàn)場演出中虛擬性的道具。這樣，AR戲曲中的部分虛擬道具有了“雙重虛擬性”。

五、結語 

由于演藝領域的相對特殊性，其現(xiàn)場觀看體驗仍然具有較大的吸引力。同時，演藝領域的現(xiàn)場體驗感還有較大的可改善及提升的空間。AR技術的引入，將為現(xiàn)場演藝帶來更加豐富、更加強烈及更加沉浸的體驗，這也使得基于AR的演藝元宇宙將迎來更大的發(fā)展機遇。

在設計基于AR的演藝元宇宙項目時，需要制定基本的原則，以更好地體現(xiàn)其各方面的優(yōu)勢。例如，需要充分體現(xiàn)虛實融合的主要特點，充分體現(xiàn)虛實融合演藝部分的必要性，充分體現(xiàn)虛實融合演藝部分的合理性，充分理解故事題材及情節(jié)，充分考慮觀眾的觀看體驗，同時需要充分考慮演出設計制作成本。

在為基于AR的演藝元宇宙作品選擇題材時，可以優(yōu)先選擇那些更適合表現(xiàn)虛實融合的內容類型，如包含夢境幻境、鬼怪精靈、時空穿越、數(shù)實結合、探索情節(jié)或其他必要交互等類型的故事題材。當然，隨著基于AR的演藝元宇宙項目實踐的不斷深入，可以嘗試更廣泛的題材，但讓虛擬表演部分更好地融入現(xiàn)場表演是基本前提。

在具體設計基于AR的演藝元宇宙時，需要思考AR技術支撐下的演藝的空間、場景、情節(jié)、角色及道具的不同虛實組合，進而總結相應的設計策略。這些策略主要包括：傳統(tǒng)導演與數(shù)字導演的相互協(xié)作，現(xiàn)場演藝中合理切入虛擬演藝，現(xiàn)場情節(jié)與虛擬情節(jié)的合理互補，真人演員與數(shù)字人演員的默契配合，現(xiàn)場實景與虛擬場景的交相輝映，真實道具與虛擬道具的巧妙切換等。

需要指出的是，在基于AR的演藝元宇宙中，觀眾本身也參與了整個表演，其體驗具有明顯的個性化及交互性特點。同時，基于AR的演藝元宇宙除了突出虛實融合的基本特點之外，其探索性及游戲化的特點也較為突出，進而使得基于AR的演藝元宇宙呈現(xiàn)出更強的沉浸性特點。

對于演藝領域的傳統(tǒng)戲劇工作者而言，或許短時間內較難接受“戲劇的游戲化”的觀點，然而，游戲本來就是包括戲劇在內的藝術的重要起源之一。從這個角度看，基于AR的演藝元宇宙或許可以讓包括戲劇在內的藝術體驗更加體現(xiàn)出約翰·席勒（Johann Schiller）提到的“人類游戲的本能”。