媒体艺术与科学
这是一个以「做出可用的东西」为论证方式的领域:它的论文常常附带一台装置、一套工具链或一场演出,主张要靠原型来兑现。这二十年里,三件事同时改变了它。第一是材料与身体重新进场——形变界面、触觉、活体材料与生物制造,把交互从屏幕拉回到可触可感的物质上。第二是机器学习从研究对象变成了创作工具:从交互式机器学习到生成模型,创作者的位置从「做出每一个像素」变成「设定条件并筛选」。第三是自省:能耗与电子废弃物、可及性、受试者与观众的数据,以及作品在十年后还能不能运行,这些以往属于工程与行政的事,成了这个领域的研究问题。下面二十条按三段排列——前八条是材料与身体,中六条是机器学习与工具链,后六条是保存、伦理与学科形态。艺术理论一侧关于生成图像与作者性的讨论见 艺术理论 面板,平台与算法机制见 传播与媒介研究 面板,舞台上的中介性与数字身体见 戏剧与表演研究 面板,本篇不重复。
一、从有形比特到激进原子From Tangible Bits to Radical Atoms
图形界面把一切交互压进屏幕:信息可以任意变化,但不可触摸;而人对物质世界积累了一生的操作技能在界面前几乎用不上。有形界面的第一步是给数字信息以物理把手,但那些把手本身仍是固定的物件。
激进原子把设想推到下一步:物质本身可以按数字模型改变形状与属性,并且人用手改变它时,数字模型同步更新。由此得到三条设计判据——能顺应约束、能改变自身结构与行为、能向使用者显示自己的可用方式。这不是一个已实现的技术,而是一个用来组织十几年原型研究的愿景。
支撑它的是可演示的原型序列:可升降的柱阵桌面、可变形的物理数据显示、以及材料科学一侧的形状记忆与软体驱动。这类研究的证明方式与自然科学不同——它靠的是「做出来并能被别人重做」,而不是统计显著。
批评意见相当直接:愿景驱动的研究难以证伪;多数原型的分辨率与耐用度距离实用极远;以及一个成本问题——形变界面所需的能量与机械复杂度,与它带来的信息量往往不成比例。
现在的位置:形变界面已是人机交互的稳定分支,并向可穿戴、机器人材料与建筑构件扩散。它最持久的影响其实是方法论上的——它示范了以愿景组织长期研究、以原型代替论证的做法,而这正是本领域的基本工作方式。
二、数据物理化Data Physicalization
数据可视化的默认前提是视觉:图表在屏幕或纸上,读者用眼睛比较长度与位置。这套做法效率高,但它排除了大量场景——视障使用者、公共空间中的偶遇者、以及需要多人围绕同一对象讨论的场合。
物理化的做法是把数据做成可拿、可走近、可协作操作的东西:从简单的实体柱状图到可动态更新的机械装置。研究关注的是效果比较——在哪些任务上物理形态确实更好(记忆、参与度、共同注意),在哪些任务上不如屏幕(精确读数、大数据量)。
证据来自受控实验与公共场域的部署研究。较稳定的发现是:物理形态在吸引注意与支持协作上有优势,在精确性与可扩展性上明显劣势;而它在无障碍场景中的价值最不含糊——触觉数据表示对视障使用者是可用性问题,不是新奇效果。
困难在制作与更新:一件物理化作品的制作成本高、更新慢,因而多数案例是一次性的展示而非可持续的工具;评估方法也不统一,导致研究之间难以比较。
现在的位置:这条线已有专门的社群与文献综述,并与第一条的形变界面、第十六条的可及性设计天然连通。较有前景的方向是把物理化当作可及性基础设施来做,而不是当作展览形式。
另有一处研究缺口:物理化作品的长期效果几乎没有数据。多数评估在部署后数天内完成,而这类作品的价值恰恰在于长期共处——它就摆在那里,被反复经过。这段时间尺度上的证据目前基本空白。
三、情感计算的成熟与降温Affective Computing and Its Correction
情感计算的产业化路径很直接:摄像头识别表情、可穿戴测量心率与皮电,据此推断使用者的情绪状态,并用于教育、招聘、广告与安全场景。这套链条依赖一个前提——特定表情与特定情绪之间存在稳定对应。
对这一前提的系统评估结论是否定的:同一情绪的表达方式在个体、文化与情境之间差异很大,而同一表情在不同情境中含义不同。因此从表情读情绪的准确率在真实场景中远低于实验室,并且误差在不同人群间分布不均。
由此产生的收缩是可见的:多家机构停止或限制表情识别产品,监管讨论把情绪识别列入高风险用途。研究界的调整方向是——不再声称推断内在情绪,而是描述可观测的状态(唤醒水平、注意、参与度),并把使用场景限定在使用者自愿且可校准的情形。
对创作而言,这条降温反而带来了更诚实的用法:生理信号被用作作品的输入与材料,而不是被用来断言观众感受了什么(第九条与戏剧与表演研究 面板第十条的告诫相同)。
现在的位置:情感计算作为技术仍在发展,而它最初的解释主张已被大幅限缩。这是本领域少数被外部证据强制修正过的技术路线,也因此是最值得记住的一条方法教训。
还有一层与产品设计相关:情绪推断被撤下之后,留下来的可用信号(唤醒、注意、疲劳)大多需要个体基线校准。这意味着「开箱即用的情绪识别」这个商业前提本身就不成立,而不只是准确率不够。
四、个人制造与创客Personal Fabrication and the Maker Movement
早期叙事是设备决定论:有了桌面制造设备,个人就能像使用打印机一样制造物件,创新与创业将随之分散化。这个叙事推动了大量学校与图书馆采购设备。
评估研究给出的图景要复杂得多:设备的使用率高度依赖是否有懂行的人在场、是否嵌入课程或项目、以及是否有社群提供故障排除与范例。缺少这些配套时,设备很快闲置。另一条被反复记录的是可及性——创客空间的使用者构成往往偏向已有技术背景的人群。
研究上更有产出的方向因此从设备转向流程:参数化设计与可共享的设计文件、面向非专家的建模工具、以及把制造与既有工艺传统结合的做法。在这些方向上,个人制造确实带来了可观察的能力扩散。
另一层被逐渐重视的是维修与再制造:同一套设备与技能用于修复现有物件,其环境与经济效益比制造新物件更明确(第六条)。
现在的位置:热度退去后留下的是稳定的基础设施与一批可复用的方法。对本领域而言,它的意义是把「原型能力」变成了通用条件——此后几乎所有条目(触觉装置、生物材料、机器人表演)都建立在这套制造能力之上。
另有一处被低估的作用:制造能力普及最实的收益是修理与适配——为一件不合手的工具做个把手、给辅具换个接口。这类小规模适配不产生亮眼展品,却是第十六条那条路线的物质基础。
五、生物设计与活体材料Biodesign and Living Materials
工业设计的默认材料是稳定的:给定形状后不再变化。活体材料反过来——它会生长、代谢、衰败,对温湿度与养分敏感,并且性能随时间变化。这既是麻烦,也是它被引入的理由。
由此产生的设计问题是新的:如何为一件会活的物件设定生命周期;如何在展览与日常使用中维持其条件;以及如何在作品失效时妥善终止。研究上的具体成果包括菌丝体复合材料的成型工艺、细菌纤维素的加工、以及以活体作为传感与显示介质的原型。
证据主要是材料性能测试与可重复的制备流程,近年也有对环境影响的量化评估——结论并不一律有利,培养所需的能耗与灭菌流程可能抵消部分收益,需要逐案核算。
伦理与安全是这条线的固有约束:涉及活体的展览需要生物安全评估,而使用工程改造生物体的作品还涉及释放与监管问题。多数机构因此把这类作品限制在封闭系统内。
现在的位置:生物设计已进入设计学院与实验室的常规课程,并与可持续材料研究合流(第六条)。它对本领域的方法贡献是把「照料」写进了设计流程——而这正是媒体艺术保存问题(第十五条)的另一种形式。
还有一处与展陈相关:活体作品的展期由生物过程决定而非策展日历决定,这迫使机构改变布展与维护流程。已有若干机构为此设立专门的养护岗位——这在十年前的美术馆里并不存在。
六、可持续界面与电子废弃物Sustainable Interfaces and E-waste
交互研究长期把硬件当作既定条件:传感器、屏幕与算力是背景,研究关注的是体验。这个设定使得原型的物质代价从不进入论文——而一个领域每年生产大量一次性原型。
转变的做法有几条:把设备寿命与可维修性作为设计目标;研发可拆解与可降解的电子结构(含以生物基材料承载导电层的工艺);以及对模型训练与实时推理的能耗做核算,把它写进作品的技术说明。
证据包括生命周期评估与具体材料工艺的可重复实验。已有的结论是分层的:延长使用与维修的收益最确定;可降解材料在性能与寿命上仍有明显限制;而算力密集型作品的能耗在总账中的比重上升很快。
争议在于范围与责任:个体作品的影响微小,把责任放在创作者身上是否合理;另一方面,这个领域恰恰在为产业界示范新的交互形态,因而其材料选择具有放大效应。
现在的位置:可持续已经成为主要会议的常设主题,并开始进入评审标准。与之最相关的实践是维修与再制造(第四条),以及把作品设计成可长期运行而非一次性展示——后者同时也解决了第十五条的保存难题。
另有一处方法上的具体做法:把能耗与材料清单写进论文的附录,像报告实验参数一样报告。少数会议已开始鼓励这一项,其作用不在于减排本身,而在于让代价可比较。
七、触觉与多感官显示Haptics and Multisensory Displays
视听通道在多数界面中已经饱和:屏幕越来越密集,提示音越来越多。触觉长期只有一种形态——整机振动,表达能力极低,几乎只能传递「有事发生」。
这二十年的进展是把触觉细分为可设计的维度:振动的频率与包络、力反馈的方向与刚度、表面摩擦的调制、以及无需接触设备的空中触觉。由此触觉成为可编排的媒介,可以传达形状、材质、方向与情绪化的节奏。
证据来自心理物理实验与应用测试:触觉提示在视觉负荷高的场景(驾驶、手术、运动训练)中确有可测的效果;在虚拟环境中的临场感提升也较为一致。而在信息量上,触觉通道的带宽远低于视觉,这个限制是生理的,不会被技术消除。
困难在标准化:触觉没有像色彩那样的通用表示与设备无关的描述方式,同一段触觉设计在不同硬件上感受差别很大,这使得作品难以移植(与第十五条的保存问题同源)。
现在的位置:触觉已进入消费设备与专业训练系统,在创作一侧则与舞台、展览与可及性应用结合最紧——对视障使用者而言,触觉显示是替代通道而非增强效果。
还有一处与创作直接相关:触觉的表达力高度依赖时间结构,因此设计触觉更接近作曲而非绘图。把触觉编排工具做成时间轴而非参数表,是近年工具设计上的一个明确共识。
八、空间计算与混合现实Spatial Computing and Mixed Reality
早期增强现实的做法是把图像叠在摄像头画面上,位置靠标记物确定。结果是内容漂浮、遮挡错误、光照不符,身体无法把它当作空间中的东西对待,沉浸感与可用性都受限。
关键进展在感知端:实时重建环境几何、估计光照、并在此基础上处理遮挡、投影与物理碰撞。由此虚拟物件可以被放在桌面上、被真实物体挡住、并在移动时保持稳定——这几件事一旦成立,交互设计的问题才从「怎么显示」变成「怎么安置」。
研究的重心因此转向空间中的交互语法:内容的持久锚定、多人共享同一空间的一致性、以及在公共场所使用时的社会可接受度。已有研究显示,后者常常比技术性能更能决定采用与否。
限制是身体性的:视场角、重量、视觉辐辏冲突与长时间佩戴的不适,这些约束多年来改善缓慢;而在真实空间中记录环境数据也带来隐私问题(第十九条)。
现在的位置:这条线是本领域近年投入最大的方向之一,其创作应用集中在场域特定作品、展览导览与表演。与舞台一侧的处理见 戏剧与表演研究 面板第十四条,此处只保留技术与交互这一层。
另有一层与场域特定创作相关:环境重建让作品可以真正锚定在具体空间的具体位置上,而不是任意房间里的漂浮内容。这使得「这件作品只能在这里成立」第一次在数字创作中成为技术上可实现的主张。
九、生理与神经接口在创作中的应用Physiological and Neural Interfaces in Creative Work
以生理信号驱动作品的吸引力显而易见:它承诺一种绕过意识控制的直接性。早期作品与宣传常常越界表述——把脑电节律说成情绪、把肌电说成意图,而这些推断在方法上站不住(第三条同一问题)。
站得住的做法有几种:把信号当作可训练的控制通道(使用者通过反馈学会调节某个指标);把信号当作作品的材料(节律、同步与变异本身可听可见);以及把多人信号的同步程度作为共同经验的指标——后者在演出场景中已有实测研究。
限制相当硬:非侵入式信号信噪比低、易受动作与环境干扰、个体差异大且需要每次校准。因此在现场条件下,稳定可用的自由度通常只有一两个,这决定了作品的形式必须围绕这个限度设计,而不是假装带宽很大。
伦理讨论近年加速:神经数据的敏感性、参与者的知情同意、以及在消费级设备普及后数据去向的问题,已进入多国的政策讨论。
现在的位置:这条线的诚实做法已经形成共识——说明测的是什么信号、如何映射、以及不能声称什么。作品的说服力因此不再依赖过度解释,而依赖映射设计本身的巧妙。
还有一处常见的误用要点明:把多人信号的同步说成「共鸣」或「心灵相通」,在表述上越了界。同步测的是生理指标的时间一致性,它可能来自共同的声音刺激、共同的呼吸节奏,也可能来自共同的无聊。
十、现场编码与算法音乐Live Coding and Algorithmic Music
算法音乐长期是幕后的:作曲家在工作室里编写系统,演出播放结果。观众看到的是成品,而生成规则、修改与失败都不可见。
现场编码把这一层翻到台前:屏幕投影给观众,演出者实时修改运行中的程序,声音随之改变。社群自定的规矩之一正是「亮出你的屏幕」——把过程的可见性写成了美学原则。这也带来一种特殊的时间结构:修改与生效之间的延迟、以及出错后的恢复,都是演出张力的来源。
支撑它的是一批为此设计的编程环境与语言,以及低门槛的教学工具——后者使现场编码进入了中小学与社区教育,成为编程教育中少数以表演与创作为动机的路径。
争议包括:可见的代码对不懂编程的观众意味着什么,以及这种可见性是否只是一种效果;另一层是技能门槛与社群构成的问题,这在社群内部有持续的自我检讨。
现在的位置:现场编码已有稳定的国际演出与学术社群,并把「过程可见」这条原则输出给了其他数字创作领域。它与第十三条构成对照——一个把生成过程全部展示,一个把生成过程隐入工具。
另有一处教育上的意义:现场编码把编程从「写出正确答案」改成「持续修改一个活着的系统」,而后者更接近专业编程的真实状态。这也是它在编程教育研究中被反复引用的原因。
十一、神经渲染与实景捕捉Neural Rendering and Reality Capture
以往把真实空间做成可浏览的三维内容,要么依赖激光扫描与人工建模(精确但昂贵),要么用摄影测量(便宜但对反光、透明与细节表现差)。两条路都难以支撑快速的创作实验。
新方法从普通图像序列出发,学习一个可从任意视角渲染的场景表示,并在近年达到实时渲染的性能,可直接接入游戏引擎。由此,实景捕捉从专业流程变成了创作者的日常工具,并被用于遗产记录、场域特定作品与影像制作。
值得注意的是它的认识论位置:结果既不是测量意义上的模型,也不是单纯的图像——它是一个能生成看起来正确的视图的表示,其中包含插值与推测。把它当作精确记录使用(例如遗产存档或证据)需要额外说明其误差性质。创作实践中反而有人主动利用其缺陷与失真作为材料。
限制包括:对动态场景、反射与大范围环境仍不稳定;数据量与格式的可持续性问题;以及在公共空间捕捉带来的隐私问题。
现在的位置:这条线正在快速常规化,遗产与创作两侧都已大量使用。与本栏 艺术史 面板第七条的数字复原一样,关键要求是把推测成分与记录成分明确分开陈述。
还有一处实践问题:这类重建的数据量极大且格式仍在快速变化,五年后能否打开是个真问题。遗产机构因此普遍要求同时保留原始图像序列——原始素材比重建结果更可能长期可用(第十五条)。
十二、交互式机器学习与人机共创Interactive Machine Learning and Co-creation
把机器学习用于创作的早期形态是黑箱:模型由工程师训练,创作者只能调用。两者之间的距离使得模型很难服务于具体的创作意图——创作者想要的往往是「再多一点这种感觉」,而这句话无法翻译成超参数。
交互式机器学习的做法是缩短循环:创作者给出少量示例,系统立即训练并给出结果,创作者据此调整示例再训练。在手势识别、声音映射与动作控制上,这套流程已被证明可用且高效——非专业者能在几分钟内做出可用的映射。
混合主动式系统更进一步:系统主动提出候选,创作者选择与修改,双方交替推进。研究关注的是控制感与意外性的平衡——太顺从则无新意,太自主则失控;已有实验显示创作者对「可撤销、可解释」的容忍度远高于对结果质量的要求。
困难在评估:共创系统的效果不能只看产出质量,还要看创作者的所有权感与学习效果,而这些指标的测量工具尚不成熟(第十四条)。
现在的位置:交互式训练已进入主流创作软件的功能层,而共创研究成为本领域与人机交互交叉最活跃的部分。它也是理解下一条的前提——生成模型的到来,改变的正是这个循环的形状。
另有一处与技能相关:这类工具把机器学习的门槛降到示例层,但同时也隐藏了偏差与过拟合。创作者能训练出可用的映射,却未必知道它在什么条件下会失效——这是共创工具最常见的实际风险。
十三、生成模型进入创作工具链Generative Models in the Creative Toolchain
把生成模型当作会画画的机器来讨论,会错过它在工作流层面的实际影响。真正发生变化的是流程:概念阶段的候选生成、素材的填补与扩展、风格的迁移、以及把手绘草图快速变成可用资产。
工具层的整合方式因此成为研究问题:如何让生成结果可控(结构约束、参考图、分区控制)、如何保持一致性(同一角色或材质跨多次生成)、以及如何把生成结果纳入可编辑的表示,而不是只能重新生成一张。这些正是交互式机器学习那条循环(第十二条)在新条件下的延续。
同时出现的是权属与合规问题:训练数据的来源、输出的版权地位、以及在商业项目中对生成成分的披露要求。这些问题在多国仍在诉讼与立法过程中,尚无定论。
对创作实践的一个可观察后果是分布效应:多项研究显示个体产出的评价提高,而群体产出的多样性下降。这个「个体上升、集体趋同」的模式,在本领域与创意写作(见 创意写作 面板第十八条)被同时观察到。
现在的位置:整合仍在快速变化,研究的稳定贡献集中在可控性与一致性这两个技术问题上,而权属与披露的规范由外部制度决定。本领域能做且正在做的,是把「哪一环由谁完成」变成可记录、可核查的工作流元数据。
还有一处工作流层面的现实:生成成分与人工成分的比例在成品上无法辨认,而合同、评审与展览往往需要这个信息。把它做成随文件走的元数据,是目前最可行的技术解法,但需要工具链各环节共同支持。
十四、创造力支持工具的评估Evaluating Creativity Support Tools
交互研究的常规评估是任务效率:完成时间与错误率。创作工具无法这样评——创作没有正确答案,花更长时间可能正是工具起了作用。这个错配长期使创作工具的论文只能靠演示与个案说服人。
替代方案是多维量表:探索性、沉浸、表达能力、协作、以及结果的所有权感。这类量表让不同工具之间可以比较,也让「这个工具让人愿意多试几种方案」这种效果可以被记录。
局限被反复指出:短时实验室任务与真实创作差别巨大;被试多为学生而非专业创作者;自评量表对新奇效应敏感。因此近年的做法转向长期研究——把工具交给创作者用数周到数月,记录使用轨迹与产出变化。
更根本的争论是评价对象:应当评工具,还是评工具与创作者构成的整体?在共创与生成系统普及之后,这个问题变得尖锐——产出质量可能主要来自模型,而工具的贡献在于给了创作者哪些判断机会。
现在的位置:量表与长期研究已成为投稿的常规要求,评估方法本身仍是活跃的研究题目。这与 创意写作 面板第二十条的评价难题是同一个结构问题在不同领域的版本。
另有一处方法建议正在被采用:把创作者的过程记录(版本、废弃方案、停手时刻)作为评估材料,而不只看最终作品。这与创作类学科普遍转向过程评价是同一步棋,只是这里的记录可以自动采集。
十五、媒体艺术的保存Preserving Media Art
传统保存处理的是物质稳定性:防止材料劣化。软件与装置作品的问题不同——材料可能完好,但操作系统、驱动、外设接口或某个在线服务已经消失,作品因此无法运行。这类失效通常突然发生且不可逆。
已形成的方法有几条:向艺术家申报作品的构成要素与可接受的变更范围(哪些可替换、哪些是本质);把运行环境整体仿真而非逐件替换硬件;把代码、依赖与构建过程完整归档;以及对现场表现留下高质量记录,以便在无法运行时至少保留证据。
证据来自机构的实际案例:多家收藏机构公布了重演与迁移的技术报告,使做法可被复核与借鉴。这类文档本身成为本领域的一类新成果。
困难在成本与判断:仿真需要持续维护,而「哪些改变仍算同一件作品」是审美判断,无法由技术决定;艺术家去世后,这类判断的授权问题尤其棘手。
现在的位置:可变媒介保存已是收藏机构的常规工作,并推动创作端的改变——越来越多创作者在制作时就写下依赖与意图说明。这与第六条的长寿设计、第二十条的成果形态构成一条线:作品要能被别人重新跑起来。
还有一处创作端的连带影响:一旦知道作品要被保存,创作时的技术选择就会不同——避开会消失的在线服务、减少对特定硬件的绑定、把关键逻辑与外设解耦。这类「为将来可运行而设计」的习惯正在形成。
十六、残障主导设计Disability-led Design and Access Technology
辅助技术的传统模式是专家设计、使用者试用:工程团队根据医学分类定义需求,做出设备后交给使用者。结果是大量设备被弃用——它们解决的是被假定的问题,而不是实际生活中的问题。
主导式设计把使用者放在决策位置:由残障者定义问题、参与原型、并保留对最终形态的否决权。研究上的具体成果包括自定义辅具的开源库、可由个人制造的适配件(借助第四条的制造能力),以及把可及性做成表达性而非医疗性的物件——外观与身份认同被当作设计要求而不是附加项。
证据包括弃用率的下降与长期使用研究,以及可及性方案对普通使用者的溢出效益(语音控制、字幕、触觉提示都是先为特定人群设计后被普遍采用的例子)。
困难在参与的质量:形式化的参与(问一下意见)与实质主导之间差别很大;而报酬、时间与体力成本使得实质参与需要专门的资源安排。这一点与舞台一侧的可及性讨论完全一致(见 戏剧与表演研究 面板第十七条)。
现在的位置:主导式设计已进入主要会议的评审期待,并成为本领域少数有明确社会效果证据的方向。第二条的数据物理化与第七条的触觉,都是它最直接的技术来源。
另有一处术语上的要点:这条路线主张的不是「无障碍版本」,而是从一开始就把不同身体条件当作设计参数。两者的区别在成本结构上——事后适配的代价通常远高于一开始就纳入。
十七、参与式感测Participatory Sensing and Civic Instruments
环境数据长期由官方监测网生产,站点稀疏且位置由行政决定。对受具体污染影响的社区而言,官方数据往往无法反映他们所处的微环境,而他们也无从自证。
参与式感测的做法是低成本设备加公开数据平台:社区自行布点、记录并公开数据。本领域的贡献主要在工具一侧——把传感、校准、可视化与叙事做成非专家可用的形态,并把数据以可被理解的方式呈现(含第二条的物理化手段)。
关键的方法问题是可信度:低成本传感器的精度与漂移需要校准,而未校准数据在政策争议中很容易被否定。已形成的做法是与参考站点联合校准、公开原始数据与校准方法,并明确陈述不确定度——这一步做到与否,直接决定数据能否进入正式程序。
争议包括:把监测责任转移给居民是否合理;以及数据公开可能带来的负面后果(房价、污名与个体隐私)。近年的项目因此把数据治理协议前置,由社区决定公开范围。
现在的位置:这条线已有大量长期项目与可复用的工具包,在若干案例中直接影响了监管决定。它是本领域少数以公共效果而非展览效果为终点的方向。
还有一层与本领域气质相符的观察:把仪器做得好看、易懂、便于讲述,并不是修饰。数据能不能进入公共讨论,很大程度上取决于它能不能被非专家读懂与转述。
十八、机器人与运动学作为表现媒介Robotics and Kinetics as Expressive Media
工程视角下的机器人运动以效率与精度为目标:最短路径、最小误差。而在表演与展览中,同样的动作若不加设计会显得机械、难以被观众读解,无法承担叙事或情绪功能。
表现性运动研究借用了动画与舞蹈的原则:预备动作、跟随与重叠、节奏与停顿,并用实验检验观众对不同运动特征的解读是否一致。结果显示,速度曲线与停顿结构对被感知的意图与「性格」影响很大,且在不同观众间相当一致——这使得运动语言成为可设计的对象。
技术一侧的进展包括软体驱动、多机协同与安全的人机共处,后者使机器可以与表演者、观众近距离同台,而这正是这类作品最有力的部分。
限制是可靠性与安全:现场演出要求极高的稳定性,而复杂机构的故障率随规模上升;安全规范也会直接限制形式(距离、速度与遮挡要求)。此外,这类作品的巡演与保存成本极高(第十五条)。
现在的位置:机器人已成为装置与表演的常规媒介,并与舞台技术合流。本领域独有的贡献是把「运动的可读性」变成了可实验、可复现的研究对象,而不是导演的直觉。
另有一处与观众感知相关的告诫:观众会自动把机器的运动读成意图与情绪,这种归因几乎无法关闭。因此设计者对机器「看起来在想什么」负有责任,即使系统内部并没有相应的状态。
十九、研究伦理与治理Research Ethics and Governance in Media Arts
艺术展览不需要伦理审查,实验研究需要。本领域的作品常常两者兼具——一件互动装置既是展览也是数据采集;一场表演既是演出也是测量场景(第九条)。旧的分类使这类工作要么被过度审查,要么完全不被审查。
已经形成的做法包括:把参与与观看分层(观众可以只看不参与,且不被采集);在入口而非事后告知采集内容;对生理与神经数据设更高标准(第九条);以及为强感官刺激(闪光、高声压、封闭空间)设定明确的安全阈值与退出机制。
公共空间的部署带来另一类问题:路人无法给出知情同意,而摄像头与环境重建(第八、十一条)会捕捉到大量非参与者。对应的做法是本地处理、不留原始影像、并公开说明设备在做什么。
困难在于审查机构缺乏对这类工作的经验,常以医学研究的模板处理,既拖慢流程又抓不住真正的风险点。本领域近年的努力之一,正是提供领域专用的审查指引。
现在的位置:主要会议已把伦理声明列为投稿要求,而机构层面的规程仍不统一。这条线与第三条的教训相连——一旦作品对参与者作出关于其内在状态的断言,责任就不同了。
还有一处与创作自由的张力:过严的审查会使涉及身体与感官的作品难以进行,而这类作品恰是本领域的核心。较可行的折中是分级——按风险类型而非按是否采集数据来决定审查深度。
二十、作品即成果的学科形态The Discipline Where the Artefact Is the Argument
传统学科以对象与方法界定自身。这个领域两者都不固定:对象从材料到算法到身体,方法从心理物理实验到工程实现到艺术创作。它的稳定性来自另一处——以可运行的原型作为论证单位,并以公开演示接受检验。
由此形成的成果形态是三件套:论文(说明问题与设计推理)、可运行的系统或作品、以及足以让他人重做的材料(代码、图纸、数据、构建说明)。近年开放材料的比例明显上升,这也是这个领域应对可复现性问题的主要方式。
组织上的特征是团队:一件作品常由工程、设计、科学与艺术背景的人共同完成,而署名与贡献的表述方式仍在演化。评价上的困难随之而来——如何计入展览、演出与开源软件,各机构标准不一(与 创意写作 面板第二十条、戏剧与表演研究 面板第二十条完全同构)。
批评意见值得记录:以演示为论证容易滑向「能跑起来就算成立」,而缺少长期、真实条件下的验证;近年对「一次性原型」的自我批评正来自这里,并推动了长期部署研究与开放材料的规范化。
现在的位置:这套形态已从少数实验室扩散为一种通行的组织方式,并被工程与设计学院广泛采用。本面板前十九条之所以能同时包含材料、算法、伦理与保存,正是因为这个学科的单位不是问题域,而是「做出来的东西」。
把二十条摆在一起,第一条线索是身体与材料重新回到了界面的中心。形变界面、数据物理化、触觉显示、活体材料、机器人运动与残障主导设计,六条线从不同方向做同一件事——把信息从屏幕上取下来,放回可触、可拿、可绕着走的物质里。这不是对图形界面的否定,而是承认一个简单事实:人对物质世界的技能远比对屏幕的技能丰富,而界面此前几乎没有用上它们。
第二条线索是创作动作的重心从制作移到了判断。交互式机器学习让创作者用示例教系统,生成模型让候选的产生几乎免费,而神经渲染让实景捕捉从专业流程变成日常工具。三者共同的后果是:稀缺的不再是把东西做出来的能力,而是设定条件、筛选结果与判断何时停手的能力。评估方法的困境(第十四条)正来自这里——旧指标测的是产出,而真正需要测的是创作者被给予了哪些判断机会。
第三条线索是这个领域开始为自己的东西负责到底。情感计算的降温让它学会了不对人的内在状态乱下断言,可持续研究让它开始核算原型的物质代价,保存工作让它面对「十年后还能不能跑」,伦理规程让它处理观众同时是被试这个身份重叠,而参与式感测让它把工具交出去并接受政策层面的检验。把三条合起来看,这个以做东西为业的领域,二十年里最大的成熟不在技术上,而在这一点上——它不再只问「能不能做出来」,而开始同时问:它测的是什么、它耗掉了什么、它十年后还在不在、以及它把谁算在了里面。