从定格画面到动态图像，反之亦然：基于技术回环分析和 利用人工智能研究电影史
(这译文已经发表在人大主编的《数字人文研究》2024年最后一期上，估计编辑大大又大批量地删了我的脚注。现在对译文很不友好，能发出来已经很难得了，以后不在翻译了，投稿周期，期刊自我选择和本土的学术话语权焦虑都对译文不是很友好，都是问题重重……还是安心下自己写吧，不管汉语还是英文的，还有点想说的，就是数字人文在当代介入艺术理论以后所带来的问题便是“当你知道湿厕纸的成份和普通湿纸巾没有区别之后，你会用湿厕纸擦脸么”这种findlayp[突然照亮无尽黑暗中的一束光，其实是幻觉]的纠葛之中，当然最大的是伦理问题，同时其边界也很明显，除了帮助疏通一个谱系【以算力换时间】和补证已有的概念或观点[我称之为digita conceptualism]意外，还有待触碰到更多的问题域）
比阿特丽斯·塔德奥·富伊卡 亚瑟·莱泽 刘思成/译 蒲夏青/译
摘 要 在人文学科的数字转向中，电影学在与数字工具和语料库思维相遇后碰撞出了新的火花，这对电影史研究尤为重要。利用人工智能工具的图像检索功能，研究者可以高效地从海量的数字电影语料库中抓取并汇总所需的图像等信息，作为更深入研究的理论前提。文章介绍了利用Snoop算法在法国国家视听研究中心的早期电影语料库中开展的第二轮检索实验，并分析了数字工具给传统模式电影研究带来的改良可能。
关键词 数字人文； 电影研究； 老电影语料库； 图像检索人工智能； 物的隐喻义
分类号G237.5
作者简介 比阿特丽斯·塔德奥·富伊卡（Beatriz Tadeo Fuica），新索邦大学IRCAV助理研究员，Email:beatriz.tadeo-fuica@sorbonne-nouvelle.fr； 亚瑟·莱泽，国国家视听研究所（INA）研究工程师； 刘思成（译者），贵州大学音乐学院讲师，Email:liusc@gzu.edu.cn； 蒲夏青（译者），贵州民族大学传媒学院讲师，Email:438064959@qq.com。
0 导言
第一部完全数字制作的电影《玩具总动员》于1996年上映，至少从那时以来，电影与这项新技术的关系已经历了革命性的变化。在托马斯·埃尔塞瑟和马特·哈格纳（Thomas Elseasseret al., 2015）看来，该变化“标志着电影史上的一个关键时刻”。
除了电影制作，数字技术也被电影档案工作者应用于对电影馆藏的数字化、保存和获取中（Fossati, 2018）。在短短几十年里, 数字转向已经动摇了电影的定义，不仅宣告了电影的死亡，探索了观影体验的变化，更推动了电影保存和获取的议题，也拓宽了（电影馆藏的）流通与发行方式（Acland, 2007; Allen, 2011; Balsom, 2017; Bernardi et al., 2021; Cherchi Usai, 2001; Elsaesser, 2012; Frick, 2011; Lobato, 2012）。得益于不断增多的计算机图像处理工具，数字技术为电影分析带来了不同的方法，也促使我们去反思既有的理论、学科需求和研究方法。
在电影研究领域，利用数字工具开展定性和定量研究的趋势稳定增长，促进了同数字人文的学科交叉（Burghardt et al., 2020; Heftberger, 2018; Latsis & Ingravalle,2017; Grant,2012）。一些电影史和媒介史学家开始使用计算机辅助工具来探索专业出版物，并对其研究结果进行地理定位（Hoyt,2014; Long et al., 2016; Ross et al.,2009; Maltby et al., 2011）。在过去数十年间，人们一直在讨论如何利用或多或少复杂的工具，将镜头时长、特定的镜头运动和其他类似技术等数据纳入研究，以分析电影的视觉要素和基于时间性的内容（Bordwell, 2002; Burges et al.,2016; Cutting et al.,2015; Ferguson, 2017; Heftberger, 2018; Svanera et al.,2019; Tsivian, 2009; Salt,1992、2006、1974）。电影学者们也利用各类标注系统——手动或自动，亦或两者兼施，追踪特定信息，这其中的利与弊也得到了广泛评估（Bakels et al., 2020; Halter et al., 2019; Pustu-Iren et al., 2020; Heftberger, 2018; Hielscher, 2020; Melgar Estrada et al.,2017）。数据可视化工具和研究方法也获得使用和论证（Burghardt et al.,2017; Ferguson,2017; Flueckiger et al.,2020; Heftberger, 2018; Hielscher,2020; Manovich, 2020; Olesen et al.,2016; Reyes-García,2014）。此外，还有一些实验探索了对运动影像中的视觉构图和声音的不同属性进行自动化研究的可能性（Byszuk,2020; Doukhan et al., 2018; Holobut et al., 2020; Mitrovic et al.,2011）。在此背景下，本文使用目标检索人工智能作为工具，让电影史学家注意到大型电影馆藏中包含的相似图像。通过识别语料库所含画格（Photogrammes）的相似对象，人工智能使海量数据变为可伸缩（Fickers et al.,2018; Mueller,2012），从而可通过对语境和历史因素的定性研究来分析图像。
本实验所用的人工智能工具服务于理论和方法论反思，它可以从电影语料库中检索出特定的物，并将包含这些物的影像提取出来。尽管电影是一种视听媒介——摄影与电影根本的区别在于后者是运动影像，但正如下文所示，通过在语料库中的画格之间建立美学和历史的联系来分析电影史，是一种富有成效的研究方法。使用目标检索人工智能来研究电影，能使研究者追溯到自影片诞生和瞬时摄影展现出动态时便已存在的技术回环。如今，目标检索人工智能支持我们以与此前既相似又不同的方式来观察画格中的细节：相似之处在于，一幅画格，无论是人工智能检索出的还是研究者手动筛选出的，终究都出自电影；不同之处在于，目标检索人工智能可以同时处理大量电影，并识别出被肉眼忽略的画格之间的相似之处。这意味我们可以不局限于对特定电影叙事的分析，而研究在特定环境下构建的电影语料库中的图像间的联系，例如，本次实验就选取了几部使用同一发行渠道的电影。
在介绍完我们所循的技术回环的历史信息，并在理论层面反思了语料库画格中反复出现的物是怎样吸收、反映和塑造历史后，我们将介绍本次实验：通过从20世纪50年代早期由先锋电影档案工作者构思的语料库中检索车轮，证明了美学关联会引发历史分析，从而将该电影语料库创建背景的特殊性推至幕前；并反思了使用目标检索人工智能搜索这样一种随处可见的物的潜力与局限。最后，本文为借助这一人工智能工具开展电影史研究的项目展示了一条可行路径。
1 技术回环：肉眼是否可见？
电影的发明导致了画格的出现，一种特殊的动态照片（Jacobs, 2010; Pierre Ulmann, 2016; Tortajada, 2010）。在画格刚出现的时候，对它进行研究并非易事。劳拉·穆维尔强调说：“赛璐珞片由一系列静止的画面组成，在整个电影发展史上，这些画面基本上是电影观众无法接触到的”（Mulvey, 2006）。的确，在20世纪70年代末，雷蒙·贝卢（Raymond Bellour）曾写道：需要一张剪辑台或倒带台来感受“（电影）画面切换时的变幻不定”（Bellour, 1979）。尽管很难获取到画格，但在20世纪60年代至70年代，这些（电影的）最小单位仍被当成分析电影所必需的，围绕它们出现了不少富有成果的理论争辩（Dicker, 2016）。受益于定格技术的发展，画格这一单位才变得更易获取和得到越来越多的关注。如穆维尔说，“当下，电影的静态,即电影放映时最不为人知的秘密，只需触碰按钮就能轻而易举地揭示，这不仅意味着静止的画面，也提示了摄影的静态”（Mulvey, 2006）。
在21世纪初所写的论著里，穆维尔指出了“触碰按钮”的意义，并着重探讨了手动截取电影画面的方法——首先是磁性，然后数字影像，使其成为可能。“暂停”键的含义也是尼古拉斯·隆贝斯（Nicholas Rombes）的研究核心之一（Rombes, 2017）。现在，穆维尔的书出版已近20年，隆贝斯的2009年修订版也已出版了十多年，人工智能等先进技术已经可以从电影语料库中检索相似的物，开辟了观看和分析电影的新方法。通过辨认画格，目标检索人工智能使得研究者们可以通过深度分析电影画面的潜文本和细节来研究电影史。
由于人工智能是一个流动的概念，它包含多种训练模式和目的，因此需要扼要描述本实验是基于何种技术开展的。在本研究中，我们使用了Snoop图像检索软件（Image Retrieval，IR），它是由法国国家视听研究所（French National Audiovisual Institute，INA）和法国国家数字科学与技术研究所（French National Institute for Research in Digital Science and Technology，INRIA）共同开发。Snoop是一款视觉检索引擎，旨在从庞大的数据集里检索出相似的图像或视频片段。其最大特色便是“人机回环”（human-in-the-loop）算法的设计，通过从使用者端收集反馈来提升检索结果的相关性（Li et al., 2013; Tzelepi et al., 2016）。Snoop的检索是基于主动学习的迭代过程（Musik et al., 2018）。因而该分类模型能利用使用者的反馈，每次都能产生新的、更好的检索结果（Musik et al., 2018）。
对Snoop的训练分为两个阶段。在对所有用户开放之前，有一个“离线阶段”。“在线阶段”允许Snoop与用户之间发生交互，Snoop在此期间进行主动学习。此处所谓的“在线”与“离线”的概念与是否从网络获取数据无关，因为Snoop不会这么做。其区别在于，Snoop在离线模式下能够一次性解析所有可用的图像数据集，在线后能够从一些实例中迭代学习。在离线阶段开始时，Snoop从电影的数字拷贝中截取静态图像，以每秒25个画面的速度编码，每4个画面中有1个被保存。随后，每1格图像被赋予一个向量——一个包含图像最醒目特征的数学对象。这一步骤使用遵循InceptionV3架构的卷积神经网络完成，该网络事先已在ImageNet的语料库子集里中完成了预训练（Russakovsky et al., 2014）。预训练Snoop的数据包含130万张图片，多数照片来自Flickr。每张图片都包含1000种物体类别中的某一种，包括人。选取这些类别是为了在预训练的数据中引入最多样化的元素，例如尺度、杂乱程度、材质和颜色区别性。从多样化的图像中，网络学习到了对其他数据集高度通用的特征，如背景/前景分隔符、形状和物对象。需要强调的是，在此阶段对预训练模型的选择决定了在随后的检索中保留哪些数据以计算相似性，并且无论用户反馈如何，它都会对结果产生影响。举例而言，已可以证明Snoops从ImageNet习得的特征更强调纹理而不是形状（Geirhos et al., 2018）。最后，使用散列函数（hushing function）对描述符向量进行编目，以实现在线阶段进行有效的相似性检索（Joly、Buisson, 2008）。[23]
在线阶段始于使用者提供一个或数个图像示例进行查询。经由近似K最邻近（ANN）算法 识别并返回相似图像。当使用者获得0—100个搜索结果，他可以将之标记为有关或无关。例如，使用者可能要搜索狗的图像，“假正例”（如Snoop检索到包含猫、马或其他无关内容的图像），都会被标记为负，只有狗的图像才会被确认为正，使用者随后便可以展开同一查询的另一次迭代。在每次迭代中，都会自动学习分类函数，以更新要呈现给用户进行相关性评估的图像集；这就是主动选择。
图1 Snoop接受“人机回环”算法训练的示意图
在每次迭代中，优先显示给使用者进行标注的结果集默认反映了相关性（可能为正）与新颖性（之前从未见过的图像）之间的最优折中。使用者可以选择不同于默认功能的其他功能，以获取更新颖、不合要求（负的）甚至模棱两可的图片，使用者的标注有助于改进分类器。两次迭代的间隔为2—3秒。检索反馈给使用者的结果不会显示任何信息来说明图像出自哪一部电影。研究者可以凭借已有的知识来判断出处，但在Snoop的实验条件中，检索范围被限定为一组不相关的静止图像。迭代周期何时停止取决于使用者：是当分类模块显示出令人满意的准确性和鲁棒性时，还是当结果中不再出现新奇图像时，亦或当检索到足够的相关结果时。检索终止后，研究者可保存实验结果并将某一类别的所有图像连同原片和时间戳等元数据一起导出到PDF文档中。依靠这种方式，语料库中的原始动态图像便成为了静态画格集合。
20世纪末，电影让瞬间拍摄的照片动起来，在今天21世纪已过了四分之一时，目标检索人工智能可以让这种运动停下来，以人类无法达到的精度将电影中的画格截取以供研究。这意味着可以探索更多基于对海量电影集合（语料库）进行分析，而非以寥寥几部电影作为对象就能给出答案的问题，而且我们的分析可以侧重于美学和历史联系，而不是对电影叙事的解读。这种方法使我们能够评估场面调度元素如何改变对电影的历史理解这种新路径，例如特定的图像如何与其所属的电影语料库的创建背景相互作用。这将在文章的下一个部分展开讨论。
2 理论应用：第三意义及其外
罗兰·巴特于20世纪70年代在《电影手册》（Les Cahiers du cinema）上发表了极有影响力的一篇文章，后被翻译为英文，题为《第三意义：对爱森斯坦电影剧照的研究笔记》（The Third Meaning. Research Notes on Some Eisenstein Stills, Barthes, 1977）。依据这篇文章，画格有三重意义：第一是信息层或交流层；第二为符号层或意指行为层；至于第三意义，他称之为“第三意义或钝义”,它催生了不同形态的联想和知识集合。为了呈现第三意义的特征，巴特指出了在爱森斯坦的两部电影《战舰波将金号》（1925）和《伊凡雷帝》（1943）的剧照中吸引他的注意的细节，比如“细描的眉毛”“裹着头发的头巾”“伊凡的胡子”“一个发髻”。为了分析这些细节，他文章中所展示的画格被视为意义的单位。的确，如其所言，“钝是非连续的，并不关注故事和表层的意义（故事的意指）。”（Barthes, 1977）将画格视为独立的意义单元，可能会催生与它们所属的电影叙事不一定相关的联想，这是通过目标检索人工智能系统获取的定格画面来研究电影史的重要理论步骤。如今，我们已能够从海量电影寻找细节，发掘到新的含义和联想。
让·吕克·戈达尔在拍摄8集系列影片《电影史》（Histoire(s) du cinéma）之前，为蒙特利尔大学做过系列讲座，指出建立联系在研究电影史时的重要性。戈达尔当时用来分析这些问题的方式是放映自己的一部电影以及他认为与自己的电影有某种关联的另一部电影或电影片段。在映后与学生的交谈会反思戈达尔在选择电影时所考虑的并不总是显而易见的联系，而这些联系是他与电影之间的感情关系的结果。源自这个项目的《电影史》系列制作于1988年至1998年，正是戈达尔“电影史便在其中：图像接踵而至”信念的结果（Godard, 2014）。他的电影基于他在电影本身、电影与其他艺术以及他自己的文化积淀之间建立起的图像和思想的关联，描绘并反映了电影与20世纪的时代风貌间的相互影响（Witt, 2013）。
《电影史》中以埃尔弗雷德·希区柯克的电影为例，戈达尔指出了物的重要性，并强调说即便忘记了情节叙事，我们仍会记住出现在这位英国导演作品中的物，如一个手提包、一辆巴士、一杯牛奶、一座风车的帆、一把梳子、一串瓶子、一副眼镜等。戈达尔认为这些物品可以触发观者对某部电影的记忆（Shafto, 2000; Mulvey, 2006）。关于这些物品，穆尔维提到了“希区柯克和艺术”这一展览：“在一间昏暗的房间里，在有机玻璃基座上，每件物品都被精心照明并置于红色天鹅绒垫之上，都封装了一部希区柯克的电影。”（Mulvey, 2006）并非每一步影史留名的作品都有这样让人铭记的物品，即使电影中的普通物品也常成为电影和媒介研究的分析对象（Ezra, 2018; Ezra et al., 2023）。
分析画格中的特定之物在电影研究中是一种成熟的实践，即根据其象征、情感、触觉和叙事功能进行不同解释。不少学者的分析集中于叙事中的物上（Peucker, 2023; Walton, 2023），也有人从创作语境来探讨特定的物体在电影叙事中的在场，并从历史的角度进行研究（Lewit, 2023; Mulvey, 2006; Sanders, 2023），但他们都有一个共同点，每次只论述几部电影，这便是最被接受的方法（Gambarato, 2010）。然而，在研究语料库时，目标检索人工智能为建立超越电影叙事的历史分析提供了可能性，主要关注物，它们如何被构架，它们与电影制作和发行环境的关系等，以此来加深对其所属电影语料库的认识。本文提出的方法旨在提供学术分析，而非建立情感联系。如穆维尔所言：
在被重复的过程中，图像坚定且持续地存在着，使机器所实现的重复和返回与来自图像自身意义的重复相呼应。这一过程不仅对学术或批评性实践有益，其自身也具备视觉愉悦感和回馈，这些不会取代，而是补充了在传统的时间性和语境中观看电影的乐趣。（Mulvey, 2006）
穆尔维的反思源自对《春风秋雨》（Imitation of Life, 1959）的分析，尽管应用不同，但与本文的主张是相关的。我们建议不要像穆尔维那样关注单部电影中的持续和重复，而是聚焦于语料库内部的重复，因为我们相信在特定背景下形成的庞大电影语料库中建立联系，便会涌现出更多待探索的意义。为此，物体和叙事的关系不再是电影分析的核心，在不同电影中检索到的图像及其派生的多样联系反而成为研究重点。
如穆尔维所写，“将它（图像）从叙事的背景中剥离出来，也使其回归到语境中，为故事的叙述贡献一些额外的、意想不到的东西，赋予一种延迟的意义”。（Mulvey, 2006）考虑到可以用人工智能处理的电影数量之多，我们建议人工智能与其为故事的叙述做出贡献，不如与外叙事语境建立联系。穆维尔做过类似的尝试，她将《春风秋雨》中的图像与电影上映时美国民权运动引发的种族问题联系在一起（Mulvey, 2006）。
在将我们的想法付诸实践前，还有一个理论锚点需要解释，即我们认为与这种分析相关的语料库或集合之定义。艾丽卡·巴尔索姆（Erika Balsom）的研究中讨论了合法和非法的电影拷贝机制是如何影响电影的流动性，她强调“发行”和“流通”才是电影能否被观众所见的关键影响因素。尽管这些概念可以有多种定义，但我们在此沿用巴尔索姆所下之定义，强调“发行是指使作品可供观看的基础设施（无论是正式的还是非正式的），而流通是指特定作品可以通过一种或多种发行模式所达成的轨迹”（Balsom, 2017）。
在本次实验中，备选语料库包括特定时段内在任何城市播放过的电影集合、线上平台的电影列表、电影节专供的影片集合及在美术馆放映过的电影集合。如巴尔索姆所言，“发行参与了价值生成和经典塑造，因为只有特别的某些电影会被广泛传播和评论，其他电影则无法被看到。”（Balsom, 2017）同样，被电影资料馆收藏的电影才有机会影史留名。然而，与其他研究不同，此处的目的不在于关注某部电影或解释特定发行渠道是怎样帮助特定作品或电影人经典化（Tadeo Fuica, 2019、2020、2022），而是研究某个渠道发行和流通的一组电影（语料库）中共有的特定的物，这可以让我们反思图像是如何构建起更多意义。我们将每个语料库视作由归档在其中的所有电影及其所有画格组成的一部超电影（supra-film）。对在特定发行渠道中传播的（电影）图像进行横向比照，意味着通过检索特定的共有电影细节可以编写出一部电影史，其中不仅承认这些渠道的重要性，还道出历史背景和图像如何反映、吸收和塑造彼此。
3 实践：检索车轮
本实验所采用的语料库由64部1902—1952年制作的电影组成，它属于TRANSARCHIVES项目（Film Heritage and Archival Practice: Past and Present Transcontinental Encounters）运作时建立的更大规模语料库的一部分。该项目收录了以下几位电影档案工作者在1947年10月至1955年1月的通信中提到的影片：法国电影资料馆的亨利·朗卢瓦（Henri Langlois），巴西电影资料馆的保罗·埃米利奥·沙利斯·戈麦斯（Paulo Emilio Sales Gomes），阿根廷电影资料馆的罗兰多·福斯蒂亚那（Rolando Fustiñana），乌拉圭SODRE档案馆的达尼洛·特雷斯（Danilo Trelles），以及乌拉圭电影资料馆的沃尔特·达索里（Walter Dassori）与欧亨尼奥·欣茨（Eugenio Hintz）。目前共计已经追踪到了383部电影，兼有虚构和非虚构的故事片、中长片和短片。虽然并非所有电影都在通信背后这几家机构之间流通过，但我们认为，“一代电影档案先驱们提到一部影片这一事实表明，它至少是值得关注的 ‘虚构藏品’中的一部分”（Tadeo Fuicaet al.,2021）。就算只是是隐喻性质的，这些片名也曾出现在同一流通途径中。
由于如今有了大量数字电影，人们可能会认为使用人工智能开展实验并不复杂。然而，如此前的文章所言，找到配备人工智能系统的数字电影语料库以供研究并非易事（Tadeo Fuicaet al.,2021）。这便是最初的电影名单被压缩的原因。我们只能选取INA的可以随时用Snoop处理的影片。这导致语料库中的电影具有双重特征，既在档案工作者们的通信中出现过，也曾在法国的电视台播放过的电影——因而会被归档入INA（Tadeo Fuicaet al.,2021）。这并未对语料库的特定变量（如来源和数量之间的比例）产生重大影响。另外，尽管影片名单主要出自三个拉美国家和一个欧洲国家电影资料馆的档案工作者之间的通信，但原始的语料库中并未收录多少拉美电影。此外，在资料馆间流通过的少量拉美电影已很难追溯，这点曾在之前的文章中分析过（Tadeo Fuica, 2019）。TRANSARCHIVES项目使用的大多数为法国电影，随后才是德国、苏联和美国电影，具体见图2。以从INA获取的影片为基础，使用Snoop处理的语料库只包含这四个国家的电影，但反映了原始语料库中的比例。如图3所示，二者的主要区别在于在使用Snoop处理的语料库中，德国电影的占比更高。
图2 TRANSARCHIVES语料库中各国别电影所占比例
图3 使用Snoop处理的语料库中各国别电影所占比例
至于应在实验中检索哪类物品，为了找到一个丰富的实例而将观点付诸实践，我们决定寻找电影中的车轮。这是由于循环、重复和迭代的理念在这一项目中反复出现，激发了抽象的圆形这一灵感。另外，电影《车轮》（La roue/The Wheel, 1923）也被收录在语料库中，这似乎是一个有趣而相关的巧合。然而，除了象征意义之外，对车轮的研究兴趣更因为它无处不在。一方面，我们想知道车轮出现在如此多的图像中这一事实是否能让我们对语料库有一个的整体概念，并发现未尽的联系。另一方面，我们可以利用检索这类随处可见的物品来测试这项技术，并反思使用Snoop这样的人工智能系统研究电影史的可能与局限所在。
运行了大约30轮的检索，我们在得到428幅含车轮的电影画面后结束了此项工作。由于本实验不采用量化分析法，因此，在和Snoop的互动中，我们并不总将同一组镜头中的正例标记出来，为的是降低最终文件中出自同一组镜头的相似画格的数量。对每个项目而言，研究者都需要制定出在Snoop的在线训练和研究需求间取得动态平衡的策略。在检索结果中出现重复图像是不可避免的，因为从统计学角度来看，与某个特定画格最相似者往往出自同一组镜头。新颖性参数更“偏爱”其他组镜头的图像，但对同一组镜头的摘录必然会再次出现。如果我们只保留一张，而将其余的标为负例，那么Snoop会感到困惑，会影响随后的检索结果。这些都是会影响结果的方法选择。
不出所料，实验得到的画格中含大量交通工具，如汽车、四轮马车、由人或马牵引的两轮车。这使我们能够快速检视语料库，并总结出其在主题和地点方面的异质性。和预期一样，火车在检索结果中出现得非常频繁。这意味着Snoop证实了先前研究的结论——电影从诞生起就表现出对火车这种交通工具的迷恋（Charneyet al.,1995a; Kirby,1997）。此种迷恋在Snoop从电影《珍妮·奈特之恋》《铁路的白蔷薇》《中国特快》（Die Liebe der Jeanne Ney，1927; La roue, 1929; Goluboy ekspress, 1929）中识别出的火车车轮特写中一览无余（图4）。从《铁路的白蔷薇》和《中国特快》的两幅剧照——人物站在巨大的火车车轮旁边（图5），可以看出人与机械在不可避免的互动时产生的张力。
图4 画面从左至右分别来自《珍妮·奈伊之恋》《铁路的白蔷薇》《中国特快》
图5 画面从左至右分别来自《铁路的白蔷薇》《中国特快》
还有其他一些发现显示，不同电影的定格画面之间有美学层面的一致性。比如，《我控诉》（J’accuse, 1919）和《天空属于你们》（La ciel est à vous, 1944）描绘火车到站的方式，与《火车进拉西奥尔站》（L’Arrivée d’un train en gare de La Ciotat, 1895）有惊人的相似（如图6），后者虽未被我们的语料库收录，却是不可缺少的参照。法国电影中大约每20年就会出现的这些巧合，可认为是后辈电影人对前辈认可的标志性风潮。
图6 画面从左至右来自：《我控诉》，《天空属于你们》，《火车进拉西奥尔站》
然而，当看到这些画格时，我们对这些巧合与语料库有何关联感到好奇。我们赞同阿曼达·瓦西莱斯基（Amanda Wasielewski）的观点：“计算技术能够判断某张图片是否与另一张匹配，但无法解释它们为什么匹配或者它们匹配的事实是否属于相关信息。”（Wasielewski, 2023）对于本实验来说，我们认为此种匹配是具相关性的，因为它激发我们思考对20世纪50年代欧洲火车出现在拉美银幕的意义。
在研究电影中火车意象的学者中，里奥·查尼（Leo）和凡妮莎·R·施瓦茨（Vanessa R. Schwartz）认为电影和铁路都是“极少见的灵符般的发明”，可以让我们把握住“现代性”——作为所谓主观经验变化的表达，或作为广泛的社会、经济和文化变革的缩写（Charney, 1995b）。顺延这一脉络，琳内·柯比（Lynne Kirby, 1997）在火车、电影和现代性之间搭建了联系，她写道：“这些电影（20世纪20年代的铁路电影）结合了火车疾驰所制造的感官迷失,将现代性奉为一种解放性力量，试图将电影从资产阶级的统治工具中解放出来”（Kirby, 1997）。这些评价似乎与探索我们语料库的背景有关——创建于冷战的开端，一个经济、社会和政治都混乱不堪的时期，与“资产阶级统治”相关的话语比比皆是。另外，如柯比在研究中指出：“西方以外的铁路最初是作为西方帝国主义的延伸出现的”（Gefen, 2023）。这一观察再次强调了这一语料库是在欧洲和拉丁美洲之间构建的。Snoop发掘的图像促使我们思考“西方”——欧洲和美国——与拉丁美洲互动和拓展现代性的方式。
城市化同样是现代性的标志之一，也是20世纪50年代初的一个显著特征。在阿根廷首都（布宜诺斯艾利斯）、乌拉圭首都（蒙得维的亚）以及巴西东南部最大的工业城市（圣保罗），二战时期的财富积累让中产阶级迅速壮大。城市的知识精英经常去往欧洲，进行大量文化消费，其中就包括电影。这一特殊的繁荣时期并没有改变（新）殖民秩序。冷战时期美国对拉美的干预也带来了严重的政治后果。社会、政治和经济危机在20世纪50年代中后期加剧，导致专制政权出现，这些地区自20世纪60年代中期至80年代末一直处在专制统治中，只是各个国家具体状况不同。
这些与冲突概念的联系最初是由描绘火车的画格引发的，随后当我们发现在Snoop的发掘的其他画格中，车轮也出现于运输大炮和携带步枪的士兵的场景时，这一联系再次浮现（图7）。我们猜测可以通过检索特定的枪支来获得类似的图像。但是，通过车轮得到这样结果的事实，凸显了武装冲突的流动性。在多数情况下，是流离失所、侵略和殖民主义导致了武装冲突，这无疑再次与语料库的冷战背景的特殊性联系起来。
图7 画面第一排从左至右来自：《战役》（The Battle, 1911），《拿破仑》（Napoleon, 1927; 两幅）；第二排从左至右来自：《兵工厂》（Arsenal, 1929; 两幅），《十月》（October, 1927）。
这些例子展示了分析Snoop检索结果的相关性的可能方法，避免关注单个电影叙事，而是着眼于语料库的特征。未来我们将进一步扩展分析，如探讨语料库中的电影是何时被数字化的、是否被修复过，是否将在近期放映、什么时候放映，也将进一步去探究如今将它们与Snoop检索出的图像联系起来的背景和渠道。
4 结论：遍布之物的可能性与局限性
本文遵循了从定格画面到动态图像的技术回环，以反思电影史学家怎样从类似Snoop这样的目标检索人工智能系统中受益——撰写一部从对物的分析出发的电影史，通过画格和美学联想，探寻语料库的历史背景，并更好地理解其特征。当使用Snoop一类工具时，语料库和检索对象的选择至关重要，我们尚需大量学习才能做出恰当选择。虽然我们确信我们的语料库足够充实，也应该利用Snoop继续探索它，但我们意识到，检索像车轮这样单个的无处不在的物体有局限性。
正如预期，Snoop在检索车轮的实验中找到了太多的例子。一方面，这极为实用，因为我们能通过几百张图像获得对语料库的认识，而不需要花大量的时间去观看电影。虽然组织图像的过程十分枯燥，但这却成为一项令人着迷的工作，尤其是开始发现美学巧合引发富有成效的解读时。就方法论而言，我们意识到虽然着眼于单个物体的检索有助于了解Snoop的潜力，但就分析而言，作用却相当有限。如上文所述，将含车轮的图像和含枪支的图像交叉比照，是利用该语料库来反思武装冲突的有效方法。Snoop能够便利地进行检索，实现更丰富深入的比较，研究人员当然应该利用这一特性。这一极具吸引力的特性，能够带来基于意外匹配的偶然搜索，而有助于更好地了解语料库的特征。我们意识到，除非检索对象非常具体，否则将项目限制在一个对象上无法让我们充分利用Snoop的潜力。
虽然普通用户还未能使用，但依照去年（2022年）生成式人工智能的普及速度来看，Snoop这样的人工智能系统向大众开放是迟早的事。虽然在写作本文时，我们的思考是以交互式研究者的角度进行的——将某个研究问题封装在一幅图像内，随后启动检索，但似乎在短时间内，其他类型的用户也将能以同样的方式访问、欣赏和解析电影。这将激励我们继续深入探索该技术的可能性和局限性，并思考将其用于研究的最佳方式。
致谢
本项目受2023年度FIAT/IFTA媒介研究基金赞助，并于在2023年初在INA-LeLab实验室中开展。研究项目“跨档案库·电影遗产与档案库实践：过去与当下的跨大陆交汇”的进行使开展本实验时有权限检索语料库中的电影，该项目由“欧盟地平线2020”（European Union’s Horizon 2020）计划赞助，也是玛丽·居里研究基金（Marie Sklodowska-Curie grant）旗下的创新项目，合同编号为No 746257。
参考文献
ACLAND C. “Opening everywhere”: multiplexes and the speed of cinema culture[M]// MaltbyR., Stokes M., Allen R. Going to the movies: Hollywood and the social experience of cinema. Exeter: University of Exeter Press,2007:364-382.
ALLEN R C. Reimagining the history of the experience of cinema in a post-moviegoing age[M]// Maltby R., Biltereyst D., Meers P. Explorations in new cinema history: approaches and case studies. Malden: Wiley-Blackwell,2011:41-57.
BAKELS J, GROTKOPP, M, SCHERER, T, et al. Matching computational analysis and human experience: performative arts and the digital humanities[J]. Digital humanities quarterly,2020,14(4).
BALSOM E. After uniqueness: a history of film and video art in circulation[M]. New York: Columbia University Press,2017.
BARTHES R. The third meaning. Research notes on some Eisenstein stills[M]// Heath S. Image, music, text: essays, translated. London: Fontana,1977:52-68.
BELLOUR R. Cine-Repetitions[J], Screen,1979,20(2):65-72.
BERNARDI J, USAI P, WILLIAMS T, et al. Provenance and early cinema[M]. Bloomington: Indiana University Press,2021.
BORDWELL D. Intensified continuity visual style in contemporary American film[J]. Film quarterly,2002,55(3):16-28.
BURGES J, DIMMOCK N, ROMPHF J. Collective reading: shot analysis and data visualization in the digital humanities[J]. Cinema journal teaching dossier,2016.
BURGHARDT M, HAFNER K, EDEL L, et al. An information system for the analysis of color distributions in MovieBarcodes[C]// The 15th International Symposium of Information Science (ISI), Berlin, Germany,2017.
BURGHARDT M, HEFTBERGER A, PAUSE J, et al. Film and video analysis in the digital humanitie—an interdisciplinary dialog[J]. Digital humanities quarterly,2020,14(4).
BYSZUK J. The voices of doctor who—how stylometry can be useful in revealing new information about TV series[J]. Digital humanities quarterly,2020,14(4).
CHARNEY L, SCHWARTZ V. Cinema and the invention of modern life[M]. Berkeley: University of California Press,1995a.
CHARNEY L, SCHWARTZ V. Introduction[M]// Cinema and the invention of modern life. Berkeley: University of California Press,1995b:1-12.
CHERCHI USAI P. The death of cinema: history, cultural memory, and the digital dark age[M]. London: BFI Pub,2001.
CUTTING J, CANDAN A. Shot durations, shot classes, and the increased pace of popular movies[J]. Projections,2015,9(2):40-62.
DICKER B. Editorial: “starting, stopping and synthesizing cinematographic art”[J]. Art in translation,2016,8(1):1-10.
DOUKHAN D, POELS G, REZGUI Z, et al. Describing gender equality in French audiovisual streams with a deep learning approach[J]. VIEW journal of European television history and culture,2018,7(14):103-122.
ELSAESSER T. Is nothing new? Turn-of-the-century epistemes in film history[M]// Gaudreault A, Dulac N, Hidalgo S. A companion to early cinema. Malden: Wiley-Blackwell,2012:587-609.
ELSAESSER T, HAGENER M. Film theory: an introduction through the senses, second edition[M]. New York: Routledge,2015.
EZRA E. The cinema of things: globalization and the posthuman object[M]. New York-London-Oxford: Bloomsbury Academic,2018.
EZRA E, WHEATLEY C. Introduction to special issue: film objects[J]. Film-philosophy,2023,27(1):1-6.
FERGUSON K. Digital surrealism: visualizing Walt Disney Animation Studios[J]. Digital humanities quarterly,2017,11(1).
FICKERS A, SNICKARS P, WILLIAMS M. Editorial: special issue audiovisual data in digital humanities[J]. VIEW journal of European television history and culture,2018,7(14):1-4.
FLUECKIGER B, HALTER G. Methods and advanced tools for the analysis of film colors in digital humanities[J]. Digital humanities quarterly,2020,14(4).
FOSSATI G. From grain to pixel: the archival life of film in transition, third revised edition[M]. Amsterdam: Amsterdam University Press,2018.
FRICK C. Saving cinema: the politics of preservation[M]. New York: Oxford University Press,2011.
GAMBARATO R. Methodology for film analysis: the role of objects in films[J]. Revista fronteiras—estudos midiáticos,2010,12(2):105-115.
GEIRHOS R et al. ImageNet-Trained CNNs are biased towards texture; Increasing shape bias improves accuracy and robustness[J/OL]. arXiv,2018. https://arxiv.org/abs/1811.12231.
GODARD J. Introduction to a true history of cinema and television , first edition [M]. Montreal: Caboose,2014.
GRANT C. Film and moving image studies: re-born digital? Some participant observations[J]. Frames cinema journal,2012,1(1).
HALTER G, BALLESTER-RIPOLL R, FLÜCKIGER B, et al. VIAN: a visual annotation tool for film analysis[J]. Computer graphics forum,2019(38).
HEFTBERGER A. Digital humanities and film studies: visualising Dziga Vertov’s work[M]. Cham: Springer International Publishing,2018.
HIELSCHER E. The phenomenon of interwar city symphonies: a combined methodology of digital tools and traditional film analysis methods to study visual motifs and structural patterns of experimental-documentary city films[J]. Digital humanities quarterly,2020,14(4).
HOLOBUT A, RYBICKI J. The stylometry of film dialogue: pros and pitfalls[J]. Digital humanities quarterly,2020,14(4).
HOYT E. Lenses for lantern: data mining, visualization, and excavating film history’s neglected sources[J]. Film history,2014,26(2):146.
JACOBS S. The history and aesthetics of the classical film still[J]. History of photography,2014,34(4):373-386.
JOLY A, BUISSON O. A posteriori multi-probe locality sensitive hashing[C]// The 16th ACM International Conference on Multimedia,Vancouver, Canada,2008.
KIRBY L. Parallel tracks: the railroad and silent cinema[M]. Durham: Duke University Press,1997.
LATSIS D, INGRAVALLE G. Guest editors’ foreword: digital humanities and/in film archive[J]. The moving image: the journal of the association of moving image archivists,2017,17(2):xi-xv.
LEWIT I. Rethinking inside and outside: the door in Ernst Lubitsch’s When I Was Dead and Charlie Chaplin’s The Adventurer[J]. Film-philosophy,2023,27(1):79-97.
LI J, ALLINSON N. Relevance feedback in content-based image retrieval: a survey[C]// Bianchini M, Maggini M, Jain L. Handbook on neural information processing, Berlin-Heidelberg: Springer Berlin Heidelberg,2013:433-469.
LOBATO R. Shadow economies of cinema: mapping informal film distribution[M]. London: Palgrave Macmillan,2012.
LONG, D, HOYT E, PONTO, et al. Who’s trending in 1910s American cinema? Exploring ECHO and MHDL at scale with arclight[J]. The moving image: the journal of the association of moving image archivists,2016,16(1):57-81.
MALTBY R, BILTEREYST D, MEERS P. Explorations in new cinema history: approaches and case studies[M]. Malden: Wiley-Blackwell,2011.
MANOVICH L. Cultural analytics[M]. Cambridge: The MIT Press,2020.
MELGAR ESTRADA L, Hielscher E, Koolen M,et al. Film analysis as annotation: exploring current tools[J]. The moving image: the journal of the association of moving image archivists,2017,17(2):40-70.
MITROVIC D, ZEPPELZAUER M, ZAHARIEVA M, et al. Retrieval of visual composition in film[C]// The 12th International Workshop on Image Analysis for Multimedia Interactive Services, Delft, Holland, 2011.
MUELLER M. Scalable Reading—Scalable Reading[EB/OL].[2023-11-29]. https://scalablereading.northwestern.edu/?page_id=22.
MULVEY L. Death 24x a second: stillness and the moving image[M]. London: Reaktion Books,2006.
MUSIK C, ZEPPELZAUER M. Computer vision and the digital humanities: adapting image processing algorithms and ground truth through active learning[J]. VIEW journal of European television history and culture,2018,7(14):1-14.
OLESEN C G, MASSON E, VAN GORP J, et al. Data-driven research for film history: exploring the Jean Desmet collection[J]. The moving image: the journal of the association of moving image archivists,2016,16(1):82-105.
PEUCKER B. Hitchcock’s undertexts: objects and language[J]. Film-philosophy,2023,27(1):50-63.
PIERRE ULMANN S. Elements for a theory of the photogramme[J]. Art in translation,2016,8(1):108-127.
PUSTU-IREN K, SITTEL J, MAUER R, et al. Automated visual content analysis for film studies: current status and challenge[J]. Digital humanities quarterly,2020,14(4).
Reyes-García E. Explorations in Media Visualization[C]// Hypertext2014 Extended Proceedings, Santiago, Chile,2014.
ROMBES N. Cinema in the digital age, revised edition[M]. London-New York: Wallflower Press,2017.
ROSS M, GRAUER M, FREISLEBEN B. Digital tools in media studies: analysis and research, an overview[M]. Bielefeld: transcript Verlag,2009.
USSAKOVSKY O, DENG J, SU H, et al., ImageNet Large Scale Visual Recognition Challenge[J/OL]. arXiv,2014. https://arxiv.org/abs/1409.0575.
SALT B. Statistical style analysis of motion pictures[J]. Film quarterly, 1974,28(1):13-22.
SALT B. Film style and technology: history and analysis,second edition[M]. London: Starword,1992.
SALT B. Moving into pictures: more on film history, style, and analysis[M].London:Starword, 2006.
SANDERS E. White material: ivory tiles, white womanhood, and white supremacy in Jean-Marc Vallée’s Sharp Objects[J]. Film-philosophy,2023,27(1):98-114.
SHAFTO S. Les objets de hitchcock, ou le monde devenu solide[M]// Païni D and Cogeval G. Hitchcock et l’art. Coïncidences fatales. Paris: Centre Pompidou,2000.
SVANERA M, SAVARDI M, SIGNORONI, A, et al. Who is the film’s director? Authorship recognition based on shot features[J]. IEEE MultiMedia,2019,26(4):43-54.
SZEGEDY I, VANHOUCKE, V, IOFFE S, et al. Rethinking the inception architecture for computer vision[J/OL]. arXiv,2015. https://arxiv.org/abs/1512.00567.
TADEO F B. Tracing past exchanges between European and South American cinematheques: a key to understanding the impact of sharing[J]. Iluminace: the journal of film theory, history, and aesthetics,2019,31(1):27-43.
TadeoF B, BuissonO, MussouC. Watching historical films through AI: reflections on image retrieval from heritage collections[J]. Cinergie-Ⅱ cinema e le alter arti,2021(20):97-112.
TORTAJADA M. Photographie/cinema: paradigmes complémentaires du début du XXe siècle’ in Fixe, animé: croisement de la photographie et du cinéma du XXe siècle[M]//GuidoL,LugonL. Lausanne: Éd. L’Âge d’Homme,2010:47-61.
TSIVIAN Y. Cinemetrics, part of the humanities’ cyberinfrastructure[M]// Ross M, Grauer M, Freisleben B. Digital tools in media studies: analysis and research, an overview. Bielefeld: transcript Verlag,2009:93-100.
TZELEPI M, TefasA. Relevance feedback in deep convolutional neural networks for content based image retrieval[C]// The 9th Hellenic Conference on Artificial Intelligence. New York, USA,2016:1-7.
WALTON S. Poetic objects: Bachelardian reverie, reverberation and repose in Claire Denis’ 35 Shots of Rum[J]. Film-philosophy,2023,21(1):7-28.
WASIELEWSKI A. Computational formalism: art history and machine learning[M]. Cambridge-London: The MIT Press,2023.
WITT M. Jean-Luc Godard, cinema historian[M]. Bloomington-Indianapolis: Indiana University Press,2013.
From Still to Moving Images and Vice Versa: Analysing Technological Cycles and the Use of AI to Study Cinema History
AbstractHumanities is currently undergoing a digital transformation, particularly in the field of film history. The collaboration among digital tools, archival thinking, and filmology has opened up innovative possibilities. Object retrieval AI can enhance the research efforts of film scholars, who require effective search capabilities to access relevant images and other information from large-scale digital film collections, as a prerequisite for deeper theoretical exploration. This article introduces the second round of experiments conducted using the Snoop system and the digital film archives at INA, along with the subsequent interpretation. It demonstrates the advantages that digital tools bring to the traditional approach of studying film history. The article explains the functionality of the Snoop system and emphasizes the importance of studying objects in the context of film history. Additionally, apart from clarifying the characteristics and construction of the corpus, the article presents extensive extensions to the retrieved results.
Key wordsdigital humanities; film studies; old film archive; image retrieval AI; metaphor of object
