本文系用户投稿，不代表机核网观点
⚠️ 未经作者授权 禁止转载
按
按
今天我们有了 Apple Watch 这样的智能可穿戴设备，捏一捏，握一握拳就可以实现操控。而 VR 眼镜加上 VR 手柄，让我们进一步利用身体的潜能去探索新的人机交互方式。即将发售的 Vision Pro 似乎更是利用计算机识别技术的高精度，来实现更流畅的手势控制，尝试丢掉手柄，解放双手，即解放身体。除了应用之外，我们有了 Switch，Wii 这样的游戏机，我们玩《健身环》《瓦里奥制造》《Nintendo Sports》《长号冠军》这样利用身体交互游玩的游戏。早在很久之前，我们就有了街机厅里的跳舞机，我们常常可以看到人们乐此不疲地踩踏会闪烁并生成音符的地板，并在跳舞机上发明了自己独特的舞蹈。而这些都是人机交互技术探索的结果，过去的技术专家们不断在寻找人类如何可能与计算机建立更直观、有意义的交流方式，而其中一个很重要的核心便是人的身体。
之前我们做过一期播客《游戏与身体现象学》和一期推文《计算机游戏中的义肢控制现象学》，探索了游戏与身体之间关系的理论基础。而在这里译介的两部分内容，将延续我对身体-游戏的思考和探索。第一部分选自媒介研究者马克·汉森书《代码里的身体》，他沿着麦克卢汉和身体现象学的思路，强调互动媒介扩展了人的身体和能动性。他批评对第一代 VR 仅将虚拟现实的思考停留在视觉和听觉，好像戴个头盔你就进入到了虚拟现实了，而忽略了身体的整体性。而汉森提到了 VR 发展历史中的重要人物迈伦·克鲁格，他首先提出了「人工现实」这一概念，并且克鲁格和汉森一样，都强调我们在人机交互的界面中不应否定人的自然身体。
这也是本篇译介的第二部分，让我们回顾一下克鲁格的思考和作品，他提到自己恨透了人跟计算机之间交互只能用 100 多年前流传下来的键盘，我们傻傻坐在桌前就只会动手指，我们明明还有整个身体呢！于是他在 70 年代开发了一套计算机系统《Videospace》，人们进入空间后便能在屏幕上看到自己跃动的剪影，并与其他人的剪影游玩，活活一个当代艺术作品。而克鲁格也说到，在他读大学那会儿，计算机跟艺术还八竿子打不着，他也不是一个艺术家，但他确实被如约翰·凯奇这样的艺术家所启发。今天克鲁格对身体和计算机交互的思考已经在现实中得到了许多印证，其中艺术和游戏的探索动力在其中功不可没。
另一方面，人机交互跟游戏设计需要分开看待，虽然二者可以是叠加态。今天我们使用智能手机和 Macbook 的方式，比如两指放大，三指滑动等等，在克鲁格那个年代的人看来颇有趣味，当时克鲁格也设计了两指拖动小人的玩法。但现在这些交互方式，除非你依然用游戏的心态去看待它，否则它就已经变成了日常，谈不上趣味。
不要否定人的身体！这是我接下来想继续研究和思考的方向。让我们仔细回想下，相比起其他厂商，任天堂反倒可能是唯一一家在探索这条游戏道路的大厂。于是我们发展出两种游戏的思考路径，一种是端坐在屏幕前，使用手柄或键盘鼠标这类惯用的控制器游玩的游戏，一种是探索和开发身体潜能的游戏，后者比较少人关注，但随着 MR 技术发展的潮流，它会生发出许多可能性。
沙皮狗
落日间
Mark B. N. Hansen
Mark B. N. Hansen
马克-汉森是杜克大学的文学教授，他的工作涉及多个学科，包括文学研究、电影与媒体、哲学（尤其是现象学）、科学研究和认知神经科学。
Myron Krueger
Myron Krueger
迈伦·克鲁格是一位美国计算机艺术家，开发了早期的互动作品。他也被认为是第一代虚拟现实和增强现实研究人员之一。
ALL REALITY IS MIXED REALITY 所有现实都是混合现实
ALL REALITY IS MIXED REALITY 所有现实都是混合现实
根据《纽约时报》最近的一篇文章（2005），电视在近未来将征服虚拟现实，VR 由于其笨重的设备和高昂的成本，我们已经习惯于把它与知觉现实（perceptual reality）区分开来。文章指出，虽然我们「从三维来观察世界」，但「在历史的大部分时间里，我们只能用二维来描绘它」。 尽管再现主义（representationalism）的这一致命弱点长期以来一直激励着人们在欺骗知觉这方面做实验——事实上，西方艺术的整个传统都可以归功于此——但只有在过去的半个世纪里，科学和艺术的注意力才集中在对知觉现实的完全模拟和三维图像的投影上。然而，这种关注的成果最近经历了一场小革命，正如文章指出：
直到最近，还没有人想出比戴上傻乎乎的眼镜更好的办法来解决这个问题。当漫游者号从火星发回图像时，美国国家航空航天局的科学家们戴着与 50 年代电影宫里的观众观看《来自外太空的声音》（It Came from Outer Space, 1953）时所戴的一样的眼镜来研究这些图像。在工业领域，这种情况一直在发生变化，因为所谓的立体成像已经成为一项大业务，从进行分子测绘的药物研究人员到打造明年 SUV 的汽车设计师……不断发展的高科技革命终于将 3D 娱乐推向了下一个阶段。
文章接着解释说，立体成像利用一种叫做「多路复用」（multiplexing）的原理产生「自然的三维」。多路复用技术在三维感知方面的作用与电影和录像在二维感知方面的作用相同：通过每秒提供 300 个图像（每秒从 10 个不同角度提供 30 个图像），它在先前技术所产生的连续运动幻觉的基础上增加立体或深度。随着家庭娱乐设备速度的不断提高，三维内容的传输现已变得切实可行，尽管其实现似乎还遥遥无期。
至少对我来说，这个故事特别有趣的地方是它与最近虚拟现实研究和艺术实验中出现的更具体「混合现实」（MR）范式的一致性（借用艺术家 Monika Fleischmann 和 Wolfgang Strauss 的说法）。今天的艺术家和工程师已经厌倦了离身超越（disembodied transcendence）的陈词滥调，也厌倦了头戴式显示器和其他界面技术的龟速发展，他们设想不同领域能流畅地相互渗透。要将 VR 重新想象为 MR 舞台的核心，需要对虚拟有某种规范。虚拟不再是一个完全不同的领域，如果说它在很大程度上是一个无定形的领域，有它自己的规则，那么它现在指的是一个「充满信息的空间」，它可以「在用户浏览......真实空间时，被激活、揭示、重新组织和组合、添加和转化」。
在这种重新想象中，最引人注目的是身体在虚拟界面中所扮演的核心角色。随着物理和虚拟空间的融合影响着当今的企业和娱乐环境，研究人员和艺术家逐渐认识到，运动行为（而不是再现主义者说的逼真性）是虚拟和物理领域之间流畅和功能交叉的关键。 在混合现实运动的立场声明中，弗莱施曼和施特劳斯谈到「它彻底颠覆了那种人类正在因技术而失去身体的理论」； 在他们看来，「互动媒介正在支持身体的多感官机制，从而扩展了人类玩耍和行动的空间」（Grau，219）。
可以肯定的是，这种对具身运动活动重要性的认识，只是在更广泛的范围内认可了迈伦·克鲁格（Myron Krueger）等早期虚拟现实先驱以及保罗·巴赫（Paul Bach）和丽塔（Paul Bach y Rita）等前沿感知研究人员的立场——他们坚持认为我们以眼睛为中心的形而上学传统及其再现主义美学是非常贫瘠的。 从这些以及志同道合的艺术家和工程师所开辟的立场来看，当代消费电子产品真正新颖和有前途的，并非是它们可能创造更加身临其境的虚拟空间，而是相反，它们扩张了人类能动性的范围。
因此，处理速度的大幅提高带来了当今的微计算革命，与其说是为了重振「完美模拟」之梦，不如说是为物理和虚拟空间提供了更广泛、更流畅的功能性相互渗透。 尽管今天的风险投资家倾向于提及「人类正向着更加成熟的再现现实进化」，但对于像迈伦·克鲁格这样的媒体艺术家来说，三维模拟的发展让我们接触到了我们最原始的感知能力 「......人机界面正在朝着更自然的信息发展。三维空间比二维空间更直观……我们的生物进化使我们理解了三维世界，所以 3D（比 2D）更原始，而不是更先进。」
因此，尽管克鲁格和今天的风险投资家都渴望有一个更符合自然直觉的界面，但他们各自对如何实现这一愿望的理解却截然不同。对于风投而言，「自然的 3D」代表着更加身临其境、数据丰富的「视觉」模拟。 相比之下，克鲁格认为，「自然的信息」（natural information) 是指通过我们与世界的自然界面（即具身的，知觉运动）的扩展而产生的信息。
通过捕捉当代媒介技术进步中工业兴趣和审美兴趣之间的差异，该区别完美地表达了混合现实作为第二代虚拟现实研究的定义原则：它回避再现主义，拥抱根植于现实的功能主义观点。 在知觉运动活动中。 出于这个原因，今天的 MR 运动与克鲁格长期以来所说的「人工现实」（Artificial Reality 与他而言与‘Virtual Reality’一词同义的头戴显示设备范式‘HMD’相反）有着密切的关系。 事实上，正如我将在第一章中论证的那样，克鲁格是整个混合现实范式的鼻祖。
因此，克鲁格最近描述这种术语差异的方式非常让人想起后者对早期虚拟现实概念的挑战，这也就不足为奇了：「虽然 HMD 党认为 3D 景观是现实的核心本质，但我觉得身体参与的程度是沉浸感的衡量标准」。根据克鲁格的说法，身体参与的关键要素之一是没有身体负担，并且，为了证明他的先见之明，现在的混合现实在我们的世界中无处不在，确实需要一个无阻碍的界面。克鲁格的「人工现实」替代愿景理论已经在当今的混合现实环境中找到了实际成果，并且 VR 的「第一代」模型——作为一个离身的，脱离物理限制的超空间——已经不再有任何购买的吸引力。
从混合现实的这一定义原则出发，可以得出几个重要的推论，使其有别于早期的 VR 概念和技术前身。首先，MR 范式从根本上重构了虚拟现实的一个特征，即希望与自然感知完全融合。正如吉尔·德勒兹（Gilles Deleuze）针对柏格森（Bergson）对「电影幻觉」（cinematic illusion）的批判所强调的那样，虚拟现实的功能就是打破自然感知。
这样的断裂（至少在德勒兹的解读中是这样）赋予了电影从非人类视角展现世界的能力，从而打开了一种恰如其分的自主性机制；相比之下，功能上的同源性，将 VR 技术与自然感知联系起来，发展出一种假肢，其技术核心功能是扩大自然感知的范围。虚拟现实以其幻想而非现实的形式运作，或更确切地说，将像神经科学家安东尼奥·达马西奥（Antonio Damasio）的意识外化类比那样：如果意识可以比作一部没有外部观众的「颅内电影」，那么虚拟现实将包括类似于一部颅外电影的东西，同样重要的是，没有外部观众。
混合现实范式与这种幻想最显着的不同之处在于，它部署了 VR 技术和感知之间的功能同源性：而不是将虚拟视为一种完全的技术拟像（technical simulacrum）以及沉浸式的、独立的幻想世界之展开， MR 范式将其视为可以通过具身感知或行动来访问的另一个领域（Varela）。 如此一来，重点不再是虚拟的「内容」，而是虚拟的「访问方式」，不再是对世界的感知，而是它最初是如何被感知的。
坦率地说，新的混合现实范式突出了身体在诞生世界时的构成性或本体论作用。 对于今天的研究人员和艺术家来说，虚拟现实强调了身体的功能，用现象学家莫里斯·梅洛-庞蒂的话来说，身体就是「立即被给予的不变量」（immediately given invariant）「世界的首要接口」「存在于世界中的载具」。 身体构成了一个终极背景，一个绝对的背景，所有的感知体验都必须以身体为导向。 这就是为什么 VR 包含了「身体」的现实测试；正如哲学家阿兰·米隆 (Alain Millon) 指出的那样，它「建立了约束机制，使我们能够更好地理解事物的局限性和身体的弱点（和身体的力量）」。
对混合现实功能主义观点的进一步推论紧随对具身的本体论或构成性功能：运动自身作为感知的身体（或更准确地说是触觉）面孔的作用。 就其产生加倍的感知而言，这种触觉维度可以为外部感知体验（无论是‘物理的’还是‘虚拟的’）给身体予感觉的现实。 它产生了一种感知的感觉关联，这是功能主义对具身能动性理解的一部分。 1. 身体作为本体论进入世界的首要地位，2. 触觉在实现这种进入中的作用，这两个推论影响了迄今为止我所关注的公理——所有虚拟现实都是混合现实——到更普遍的公理，即「所有」现实都是混合现实。
从某种意义上说，这段话只是认识到了如布莱恩·马苏米（Brian Massumi）所说的，我们可以认为模拟技术的优先级（或‘优越性’）——尤其是在数字技术发挥作用的地方，但模拟绝不是唯一的。
感觉总是在转化外部，转化思想。感觉就是一种模拟。这是一种接近技术意义上的模拟（analog），是一种连续可变的冲动或动力，可以从一种质地不同的媒介进入另一种媒介。就像电能转化为声波，或热能转化为痛感，或光波转化为视觉，或视觉转化为想象，或者耳朵里的噪音变成心里的音乐，或外部进入内部，可变的连续性跨越质的差异：一种转化的连续性。(135)
从这个意义上理解，模拟就是在各种领域的融合、混合、转化中创造现实的；毫不奇怪，身体构成了模拟的主要媒介：「如果说感觉是身体-物质（body-matter）利用持续转化力的模拟处理过程，那么其中最重要的就是这种力的显现：进入存在的力，成为生成的力。身体是变化的传感器，是虚拟的转换器」（135）。
在这一理解的背景下，与具体虚拟区域的感官整合或界面将构成一种更普遍的感官模式的一个（阐释性）实例：外部和虚拟的力的转换整合。这就是为什么马苏米对虚拟现实的模拟构想，完美地预见了当代向混合现实范式的转变：
早期虚拟现实系统限制视线的头盔已经让位于沉浸式的交互环境，这种环境能够解决视觉以外的感官问题，并能更灵活地将各种感官模式相互链接，在数字辅助的体验领域中融入更多的感觉（sensation），从而有了更多潜能。(142)
因为体验本身是「模拟处理的」，所以虚拟现实（在狭义的技术意义上）与其他体验在类型上没有区别； 再次强调，所有现实都是混合现实。
迈伦·W·克鲁格和人工现实
迈伦·W·克鲁格和人工现实
20 世纪 70 年代，美国计算机艺术家迈伦·W·克鲁格（Myron W. Krueger）在威斯康星大学麦迪逊分校和康涅狄格州斯托尔大学工作，开发出了《Videoplace》，首次允许用户与虚拟物体进行交互。它建造了一个人工现实场景（artificial reality），环绕在用户周围，对他们的动作行为做出反应，无需使用 VR 眼镜或手套。
《Videoplace》用投影仪、摄像机、还有一些特殊硬件，以及屏幕上的参与者剪影，将用户置于互动环境中。计算机用相机分析的参与者的动作和位置，将数据转移到人工现实的网络连接上，投影出参与者粗糙但有意思的的剪影，参与者可以在屏幕上直观地看到自己的动作结果。如此一来，即使没有直接的触觉反馈，参与者在与屏幕上的物体和其他参与者互动时也会有一种临场感。《Videoplace》目前在康涅狄格大学的州立自然历史博物馆永久展出。
1983 年，克鲁格出版了一本名为《人工现实》的书，并于 1991 年更新了第二版。该书是有关虚拟现实或人工现实的开创性论文之一。
「人工现实作为一种新的美学媒介」
「人工现实作为一种新的美学媒介」
超越阐释
奇怪的是，艺术史，艺术评论家，还有艺术爱好者，都在某种规训下感受艺术。一而再再而三，人们离开《GLOWFLOW》《METAPLAY》《PSYCHIC SPACE》（克鲁格的互动媒体作品），然后说，「我真的很喜欢这个，但它是什么意思？」出于某些原因，他们认为正在发生的一切应该立刻被还原为文字。事实上，人们有一种把事件当做文字来接受的倾向，他们想要描述这些事件。而有一种媒介可以抵抗这种阐释倾向。人工现实可以根据个体做出响应，并阻扰分析。如果每个人都有不同的体验，每个人都能多少避免来自「正确解释」的压力。因为每个人在这个空间中的移动都不一样，每个人都会接收到不同的反馈，哪怕这背后的程序都是一样的。如果这个环境中有许多程序替代控制了整个环境，那么每个参与者的冒险都将独一无二。所以，两个人可以交流他们的体验，但因为他们没有共同的经验，他们到最后都无法分析发生了什么。
另一个强调多样变化的原因，就是去抵抗艺术家寻找单一的、好卖的风格的倾向。一旦艺术家发现了一种风格，艺术家就会仅仅是重复它，他担心自己如果尝试了一种新风格，新风格可能不会成功。实际上并没有要去给作品签名的必要，作品本身就是一个签名，百步之内都可辨认，就像是一个美学 logo 一样。Joan 和 Russell Kirsch 开发了一款软件，能够以 Richard Diebenkorn 的绘画风格来生成新的作品。他们声称，如果计算机能复制一个艺术家的风格，并用它创造新的作品，那么这个艺术家的技能就平平庸庸，无异于写一个程序。然而，Diebenkorn 的成就是发明了这种风格。只有一个艺术家在此之后不断重复自己时，Kirsch 的批评才有效。
主动艺术 vs 被动艺术
我们所有的传统艺术都有如下共同特征：它们假想一个被动的观众。大多数人平时累坏了，被动理所当然。然而，经过几个世纪的努力，我们几乎消除了体力劳动的必要性。讽刺的事，既然我们的身体需要一定的运动才能保持健康，我们就面临着一个新的问题——如何让我们的生活更加活跃。体育运动满足了一些人的这一需求，但新的艺术和娱乐形式也有用武之地，它们让我们的身体参与其中，而不是剥夺身体。
响应就是媒介！
人工现实是一种新的艺术媒介，它致力于人与机器之间的实时互动。这种媒介包括感知、显示和控制系统。它接受参与者的输入，然后做出响应。人们可以识别出这些与他们的行为相对应的方式。输入和输出之间的关系是可变的，艺术家可以在参与者的行为和感知到的结果之间干预，例如，参与者的肢体动作可以发出声音，或者他们的声音可以用来浏览计算机定义的视觉空间。重要的是行动与反应之间的对话，而视觉和听觉响应的美感则是次要的。响应就是媒介！
原则上，感知系统（perceptual system）可以对你的声音位置、体态、动作或手势做出响应。它还可以对你上次移动后的时间、你进入环境后的时间，或你的一般移动速度做出反应，它还可以对你的身高、头发、肤色或面部表情做出反应。如果人工现实中存在几个人，它可以对他们各自或他们之间的某种关系做出反应，也可以对图形世界中的个人、图像和物体之间的关系做出响应。感知系统定义了有意义的交互，而（静态）展品却无法对感知做出响应。
屏幕为交互提供一个了语境，并确定参与者的行为与其感知到的后果之间的关系。该语境是一种人工现实，艺术家组织了其中的因果律。如果展示只是以视觉和听觉的形式呈现的话，那么这种媒介并不重要，因为艺术家完全有能力选择其他各种媒介做有效呈现。众所周知，复制并不会产生新的东西。而探索未知、有待检验，这正是响应式美学的有效之处。
控制系统确定对参与者动作的恰当响应，并生成该响应。事实上，硬件传感器、显示屏和处理器的集合体可被视为一种工具，不同敏感度的艺术家可对它们编程，以创造完全不同的体验。这些艺术家必须在追求有趣的关系与承诺实时响应之间取得平衡。
我们可以通过如下几种方式思考人工现实：
- 它是一个让参与者参与对话的实体，人工现实通过光和声来表达自己，而参与者则通过肢体动作交流，因为在我的作品中，这种体验是个人（人类和机器）之间的相遇，包括问候、介绍和告别——所有这些都是抽象的，而不是字面意义上的。在这种情况下，艺术家的任务就是让现实本身充满独特的个性。这个想法并不晦涩难懂，只需想象一下您可能会采用的反馈关系，就能创造出一座鬼屋或一座迷人的花园。
- 它是一种个人（能动性）的功放。在多萝西与绿野仙踪的初次相遇中，魔法师用他的技术手段增强了他与周围环境互动的能力，而人工现实技术也可以以同样的方式使用……
- 它是一个参与者可以探索的空间。在空间里，他可以跟图形生物互动，开始一场图形冒险；
- 它是人与人互动的一种设置。两个或两个以上的人可以在其中互动。因为计算机定义了参与者之间的关系，所以它像是交互中的第三方；
- 它是参与者在空间中移动游玩的乐器。在 PSYCHIC SPACE 里，地板用了一种类似于乐器的键盘。在人工现实里，乐器和「生物」可以被参与者触碰；
- 它是将人的身体转化为乐器的方法。一个人的手臂和手指可以用来控制图像和声音；
- 它是一种参与者和计算机之间的游戏。这是弹球机和电子游戏的一种变体，是最能有商业成功的互动环境；
- 它是一个体验式寓言，通过发生在主人公——也就是你——身上的事件来说明主题。从这一角度来看，PSYCHIC SPACE 中的 MAZE 变得意味深长。要成功解开 MAZE 是不可能的。如果你试图达到这个目标，MAZE 可能是一种令人沮丧的体验。另一方面，如果你对迷宫下一步会如何阻挠你保持着积极的好奇心，那么这种体验就会被证明是有趣和发人深省的。这种诗意的体验，是人工现实中最有前途的发展方向之一。
1971 年，克鲁格创作了《心理空间》（Psychic Space）。《心理空间》是一个具有两种功能的环境： 它是「一种音乐表达工具，也是一种要素丰富、高互动性的视觉体验」。《心理空间》的地板被划分为音乐/声音键。 人每走一步，就会触发不同的音符或声音。 参与者在房间里行走、跳跃和奔跑，对环境进行探索和实验。 后来，克鲁格增加了一项新功能，即在用户和计算机之间建立实际交流： 如果一个人在音符之间停顿了一下，电脑就会再次重复音符。 「如果人在停顿期间保持不动，计算机就会判定参与者已经理解了这种交互......人们希望这种人机对话类似于吉他二重奏」（382）。
《心理空间》的第二个特点是迷宫程序。 人在房间里的位置由投影屏幕上的一个小符号表示。 人在房间里的身体移动会导致屏幕上的符号相应移动。 通过在屏幕上放置另一个物体，克鲁格能够让参与者向其移动，进而触发迷宫的出现。 根据参与者在房间里所处的位置，迷宫会有相应的变化，阻扰参与者，让他不会马上成功。 通过这种方式，用户和计算机相互做出各自的响应。(末尾两段均为译者注）
参考文献
参考文献
- Grau, Olivier. Virtual Art: From Illusion to Immersion, trans. G. Custance (Cambridge, MA: MIT Press, 2003), 247.
- Jeremy Turner, “Myron Krueger Live,” C-Theory, 25, 1-2, Article 104 (1992).
- Damasio, Antonio. The Feeling of What Happens (New York: Harcourt, Brace and Co., 1999), 171.
- Merleau–Ponty, Maurice. The Phenomenology of Perception, trans. C. Smith (London: Routledge & Kegan Paul, 1962), 139–141.
- Millon, Alain. La Realité Virtuelle: Avec ou sans le Corps? (Paris: Éditions Autrement, 2005), 17. hereafter cited in text.
日 | 落译介计划 是数字人文实验室落日间对一些有助于思考游戏/电子游戏的外文文本翻译和推荐/索引计划。（请查看网站 xpaidia.com/sunset-project/）。
感谢支持落日间的朋友们！
欢迎赞赏或赞助落日间，加入内测计划，查看并且优先参与落日间正在进行的其他未公开项目，并且每周收到至少一篇我们情感异样丰富的小作文。详情可点击阅读原文，或进入：xpaidia.com/donation
评论区
共 条评论热门最新