"奥威尔 "人工智能测谎项目在欧盟法院受到挑战

大数据文摘出品

来源：techcrunch

编译：周熙

欧洲法院今天审理了一项法律诉讼，涉及欧盟资助的一个有争议的研究项目，该项目使用人工智能进行面部 "测谎"，目的是加快移民检查。

2019年3月，海盗党（Pirate Party）德国成员、公民自由活动家 Patrick Breyer对监督该集团资助项目的欧盟研究执行机构 （REA）提起透明度诉讼——他之前曾因后者拒绝披露文件成功起诉委员会。

他正在寻求公布项目的伦理评估、法律受理、市场推广和结果相关的文件。并希望制定一个原则，即公共资助的研究必须符合欧盟的基本权利——并帮助避免在这个过程中把公共资金浪费在人工智能的 "万金油"（snake oil）上。

Breyer在今天的听证会后发表声明说：“总有危险的监视和控制技术被欧盟开发出来，未来甚至会资助武器研究，我希望能有一个里程碑式的裁决，让公众对为私人利益服务且不道德的公费研究进行监督和论证。通过我的透明度诉讼，我希望法院一劳永逸地裁定，纳税人、科学家、媒体和国会议员有权了解公费研究的信息——特别是'iBorderCtrl视频测谎仪'这类伪科学和奥威尔（Orwellian）技术。”

法院尚未确定此案的裁决日期，但Breyer表示，法官们对该机构进行了 "一个多小时的密集且严格的质询"，并透露，与涉案人工智能技术相关的文件尚未公开披露，但法官们已经审查过，其中包含了 "种族特征 "等信息，引发了大量质疑。

主审法官继续质疑，按照Breyer的说法，通过公布更多关于有争议的iBorderCtrl项目的信息，来证明自己没有什么可隐瞒的，这是否符合欧盟研究机构的利益。

有关研究之所以有争议，是因为精确测谎仪的概念仍只存在于科幻小说里，而且有充分的理由相信目前没有证据显示欺骗有 "普适性的心理信号"。

然而，这个由人工智能驱动的商业研发 "实验 "是为了建立一个视频测谎器，测试者被要求回答一个虚拟边检人员向他们提出的问题，同时一个网络摄像头扫描他们的面部表情，该系统试图检测出欧盟在该项目官方摘要中所描述的 "欺骗的生物标记"，借此为测试者的面部表情的真实性打分。在该集团的地平线2020计划下获得了超过450万欧元（约合540万美元）的欧盟研究资金。

iBorderCtrl项目在2016年9月至2019年8月期间进行，资金由多个成员国（包括英国、波兰、希腊和匈牙利）的13个私营或盈利实体分摊。

iBorderCtrl项目组表示将在去年公布公开研究报告，以书面形式回复Breyer对其缺乏透明度的质疑，但报告至今未曾与公众见面。

早在2019年，The Intercept媒体就发表了就测试了iBorderCtrl系统的报告。视频测谎仪诬陷其记者说谎，并给出她在16个答案中给出了4个假答案的判断，并给她打出了48分的总分。一名评估结果的警察报告说，这触发了系统对她的建议，她应该接受进一步的检查。（尽管这样的事情没有真正发生过，因为该系统从未在边境测试期间真正运行）。

The Intercept说，它必须提出数据访问请求——这是欧盟法律规定的权利——才能获得记者结果的副本。其报道援引德比大学（University of Derby）刑事调查教授Ray Bull的话说，iBorderCtrl项目 "不可信"，鉴于目前缺乏证据来证明监测人们脸上的微表情是衡量撒谎的准确方法。

此外Bull还说："他们自欺欺人，以为这样做会有实质性的效果，他们浪费了很多钱。这项技术是基于对人类在真实和欺骗时的基本误解"。

只要注入足够多的数据，人工智能就能自动预测人类特征的说法令人痛心——看看最近应用机器学习从脸型中搜集 "性格特征 "来重振人机学的尝试就知道了。所以，一个人脸扫描的人工智能 "测谎仪 "就这样就端坐于一个漫长而不光彩的反科学 "传统"王座之上。

在21世纪，在你还没有考虑到欧盟资助违背欧盟宪章规定的关于基本权利的研究所固有的道德和法律盲点之前，数百万欧元的公共资金被投入到可怕的旧想法的翻版中，这实在是令人难以置信。当你考虑到所有的错误决定都涉及到让这种情况发生时，它看起来就像是绞刑般可耻。

为这种可疑的人工智能应用提供资金，似乎也忽视了所有已经完成的（好的）研究，这些研究显示了数据驱动技术是如何风险度量偏见和歧视的。

但我们无法确定，因为关于iBorderCtrl背后的财团如何评估其实验性应用中的道德考虑因素的信息非常有限，这是法律投诉的核心部分。

位于卢森堡的欧洲法院面临的挑战给委员会提出了一些非常尴尬的问题。欧盟是否应该将纳税人的现金投入到伪科学 "研究 "中？它是不是应该努力资助真正的科学？为什么它的旗舰研究项目——欧盟皇冠上的明珠——很少受到公众监督？

同时，一个视频测谎仪能通过欧盟的 "道德自评 "程序，说明所谓的 "道德检查 "并不值得一看。

"是否接受（研发）申请的决定是在成员国代表作出决定后由区域环境署作出的。因此，没有公众监督，没有议会或非政府组织的参与。没有（独立的）道德机构来筛选所有这些项目。整个系统的设置非常糟糕"，Breyer说。

"他们的论点基本上是，这种研发的目的不是为了促进科学或为公共利益做一些事情，也不是为了促进欧盟的政策，这些计划的目的实际上是为了支持工业——开发东西来销售。因此，它应该是一个经济的项目，它的设计方式。我认为我们真的需要讨论一下，这样做是否正确，是否应该如此。欧盟即将对人工智能进行监管，而在这里，它实际上是在资助不道德、不合法的技术"。

欧盟资助敌视权利的研究不仅显得虚伪，而且——批评者认为这是在浪费公共资金，而这些资金本可以用于真正有用的研究（无论是为了安全目的，还是更广泛的公共利益；以及促进欧盟立法者喜欢提及的 "欧洲价值观"）。

Breyer认为，"我们需要知道，并且明白这些研究永远不该被使用，因为它不起作用，或者是不道德，或者是非法，这实际上是在浪费钱，那些钱本该用于其他真正重要和有用的项目"。

"例如在安全方案中，你或许可以在警察防护装备方面做一些好事。或者也许在向民众宣传预防犯罪方面。因此，如果这些手段使用得当，而不是使用这种希望永远不会被使用的可疑技术，就可以做很多好事"。

接替Horizon 2020的欧盟旗舰研究和创新计划的最新化身，在2021-2027年期间的预算约为955亿欧元。而推动数字化转型和人工智能的发展也是欧盟声明的研究经费重点之一。所以，可用于 "实验性 "人工智能的钱袋看起来很巨大。

但是，谁来确保钱不会浪费在算法万金油上，而且还是危险的算法万金油，因为研发工作明显违背了欧盟自己的基本人权宪章？

欧盟委员会多次拒绝了要求发言人谈论这些问题的请求，但它确实发送了一些记录要点(如下)，以及关于获取文件的一些背景资料，这是法律申诉的一个关键部分。

在委员会关于 "研究中的伦理 "的记录声明中，它首先声称 "在欧盟资助的研究中，伦理是最优先的"。

"在地平线2020下开展的所有研究和创新活动都必须遵守道德原则和相关的国家、欧盟和国际的法律，包括《基本权利宪章》和《欧洲人权公约》"，它还告诉我们 "所有提案都要经过专门的道德评估，以核实研究项目是否符合道德规则和标准，并在合同中规定其义务"。

它没有详细说明 "视频测谎仪 "究竟如何能符合欧盟的基本权利————如尊严、隐私、平等和不歧视的权利。

而值得一提的是，欧洲数据保护监督员（EDPS）在去年的一份初步意见中写道，对欧盟资助的科学研究与数据保护法之间的错位提出了担忧。"我们建议加强数据保护主管部门和伦理审查委员会之间的对话，以便就哪些活动有资格成为真正的研究达成共识，欧盟科学研究行为准则，欧盟研究框架方案和数据保护标准之间更紧密地结合起来，并开始就研究人员在哪些情况下可以基于公共利益获取私营公司持有的数据进行辩论"。

具体到iBorderCtrl项目，委员会告诉我们，该项目任命了一名道德顾问，"按照最初的道德要求 "监督研究道德方面的执行情况。委员会声称，"顾问的工作方式是确保自主性和独立于联合体"，但没有透露该项目(内部任命)道德顾问是谁。

"在项目执行期间，委员会/REA通过修订相关的可交付成果不断监测道德方面的问题，并在与报告期结束相关的技术审查会议期间与外部独立专家合作，对道德方面的问题进行了认真分析"，它继续补充说："2019年3月进行了一次令人满意的道德检查"。

它没有提供关于这次自律性 "道德操守检查 "的任何进一步细节。

"到目前为止，它的运作方式基本上是委员会成立的一些专家组与提议/招标"，Breyer在讨论欧盟的研究项目是如何构建时说。"它由行业专家主导，里面没有任何国会议员，我认为它只有一个民间社会的代表在里面，所以从一开始就有虚假的组成。然后，它被提交给研究执行机构，实际的决定是由成员国的代表作出的。

征集研究提案本身听起来并不那么糟糕，如果你查一查的话，它很笼统，所以问题其实是他们针对它提出的具体提案。而据我所知，这些都不是由独立专家筛选的。道德问题是通过自我评估来处理的。因此，基本上，申请者应该表明项目是否涉及高道德风险。只有在申请者表明了这一点的情况下，才会有专家，由区域评估机构挑选，进行道德评估。

"我们不知道谁被选中了，我们不知道他们的意见，这也是保密的，如果后来发现某个项目不道德，是不可能撤销拨款的"。

虚伪的指控在这里变得更为尖锐，因为委员会正在为人工智能的应用塑造基于风险的规则。而欧盟立法者多年来一直表示，人工智能技术需要 "护栏"，以确保它们的应用符合地区价值观和权利。

委员会执行副总裁Margrethe Vestager曾谈到，需要制定规则来确保人工智能 "合乎道德地被使用"，并能 "支持人类的决策，而不是破坏人类的决策"。

然而，欧盟的机构们却同时将公共资金投入在人工智能研究上，如果在该地区实施人工智能研究，显然是不合法的，鉴于 "测谎 "缺乏科学依据，民间批评人士谴责这种研究显然是不道德的。

在iBorderCtrl网站的常见问题解答中，项目背后的商业财团承认，现有的欧盟法律框架并没有涵盖其中一些技术的实际应用，并补充说，这意味着 "如果没有建立法律基础的民主政治决定，这些技术就无法实施"。

或者，换句话说，如果不修改法律，这种系统在欧洲实际用于边境检查是非法的。然而，欧洲纳税人的资金还是被投入了。

EDPS的发言人拒绝对Breyer的案件进行具体评论，但他确认，其关于科学研究和数据保护的初步意见仍然是相关的。

他还指出了未来的相关工作，该工作涉及委员会最近推动并鼓励为研究目的而共享泛欧盟健康数据的工作——EDPS建议 "从一开始 "就确定数据保护保障措施，并建议在进行研究之前建立 "深思熟虑 "的法律基础。

"EDPS建议特别关注（健康数据共享）框架内数据的道德使用，为此，他建议考虑现有的道德委员会及其在国家立法背景下的作用"，欧盟首席数据监督员写道，他坚信健康数据共享计划的成功将取决于建立一个强有力的数据治理机制，为立足于欧盟价值观的合法、负责任、道德管理提供充分保证，包括尊重基本权利"。

数据的合法和道德使用必须成为研究工作的DNA————而不是事后表单上的一个选项。

除了对获得欧盟资助的研究项目缺乏独立的伦理监督外，对于所谓具有商业头脑的研究来说，目前令人担忧的是，外界无法独立验证（或者说，证伪）相关技术。

就iBorderCtrl技术而言，没有公布关于项目成果的任何有意义的数据，根据信息自由法要求提供数据的请求也以商业利益为由被拒绝。

自2019年项目结束以来，Breyer一直试图获得有关项目成果的信息，但没有成功。《卫报》早在12月就详细报道了他的斗争。

他说，裹挟在欧盟研究的法律框架下，只有非常有限的要求公布项目成果信息——而且是在事后很久才公布。因此，他希望法院能同意 "商业利益 "不能被用来过分宽泛地拒绝披露公共利益信息。

他告诉TechCrunch，"他们基本上认为没有义务审查一个项目是否真的有效，所以他们有权资助那些不起作用的研究"。"他们还认为，如果任何信息的公布都会损害销售技术的能力，基本上只要拒绝访问就可以了——这是对商业敏感信息的一种极其广泛的解释。

"我会接受的是排除真正包含商业机密的信息，比如软件程序的源代码或者内部计算之类的。但这肯定不应该涵盖，例如，如果一个项目被贴上了不道德的标签。这不是商业秘密，但显然会损害他们销售的能力——但显然这种解释太宽泛了"。

"我希望这次法律诉讼能成为一个先例，澄清这种不道德的（如果真的使用或部署了这种技术也是非法的）技术的信息，公众的知情权优先于出售技术的商业利益"，他补充道。"他们是说我们不会发布信息，因为这样做会减少出售技术的机会。因此，当我看到这一点时，我说，好吧，这绝对值得上法庭，因为他们将对所有请求一视同仁"。

民间社会组织在试图获取iBorderCtrl项目的详细信息时也遭到了挫折。例如，The Intercept在2019年报道称，总部位于米兰的Hermes透明和数字人权中心的研究人员利用信息自由法获得了有关iBorderCtrl系统的内部文件，但他们拿回的数百页文件被严重删改——许多文件被完全涂黑。

"我从那些试图了解其他可疑研究项目的记者那里听说，他们大规模地隐瞒了信息，但这是徒劳的。甚至像道德报告或法律评估这样的东西——那都是不包含任何商业机密的东西，就像这样"，Breyer继续说道。"它不包含任何源代码，也不包含任何敏感信息——他们甚至还没有公布这些内容哪怕是一小部分。

"我发现，一个欧盟机构[REA]居然会说，我们不关心这方面的利益，因为一旦它可能会减少销售，那么我们就会扣留信息，这让人感到愤怒。我不认为这是可以接受的，无论是其关乎纳税人的利益方面，了解他们的钱是用来做什么，但也出于科学的利益，能够测试/验证这些所谓的 "欺骗检测 "的实验 - 这是非常有争议的，如果它真的有效。而为了验证或证伪，科学家们当然需要获得关于这些试验的具体内容。

"另外从民主的角度来说，如果有一天立法者想要决定引入这样的系统，甚至决定这些研究项目的框架，我们基本上需要知道细节——比如假阳性的数量是多少？它的实际效果如何？它是否会因为对某些人群效果不佳而产生歧视作用，就像面部识别技术那样。这都是我们真正迫切需要知道的东西"。

关于获取与欧盟资助的研究有关的文件，委员会请我们参考第1049/2001号条例，它说该条例 "规定了一般原则和限制"，但它补充说，"对每个案例都进行了认真和单独的分析"。

然而，委员会对地平线计划条例的解释似乎完全排除了信息自由的适用——至少在iBorderCtrl项目中是这样。

根据Breyer的说法，他们将公开披露的内容限制在研究结果的摘要上——可以在项目完成后大约三到四年后发表。

"你会在一些科学杂志上看到一篇五六页的关于这个项目的文章，当然你不能用它来验证或证伪这个技术"，他说。"你无法看到他们到底在做什么——他们在和谁交谈。所以这种总结在科学上、对公众和民主上都是非常无用的，而且要花很多时间。所以我希望将来我们能得到更多的洞察力，希望能进行公开辩论"。

欧盟研究计划的法律框架是二级立法。所以布雷耶的论点是，一个关于保护 "商业利益 "的空白条款不应该能够凌驾于欧盟基本的透明度权利之上。但当然这将由法院来决定。

"我认为我有一些很好的机会，特别是因为透明度和获取信息实际上是欧盟的一项基本权利——它在欧盟基本权利宪章中。而这个地平线立法只是二级立法——他们不能偏离主要法律。而且它们需要按照它来解释"，他补充道。"所以我认为，我希望法院会说这是适用的，他们会在信息自由的背景下做一些平衡，信息自由也保护商业信息，但受制于普遍的公共利益。所以我认为他们会找到一个很好的折衷方案，希望能有更好的洞察力和更大的透明度。

"也许他们会把文件的某些部分涂黑，删改一些，但我当然希望原则上我们能获得这些资料。从而也确保将来委员会和REA必须交出大部分关于这项研究的要求的东西。因为那里有很多可疑的项目"。

Breyer认为，一个更好的研究项目监督体系可以从让决定资助申请的委员会不至于主要由工业界和欧盟成员国的代表组成（当然，他们总是希望欧盟的现金来到他们的地区）——还应当包括议会代表、更多的民间社会代表和科学家。

"它应该有独立的参与者，而且这些参与者应该是大多数"，他说。"这将是有意义的，引导研究活动向着公益、遵守我们的价值观、有用的研究方向发展——因为我们需要知道和了解的是那些永远不会被使用的研究，因为它不起作用，或者它不道德，或者它是非法的，它浪费的资金，用于其他真正重要和有用的项目"。

他还指出，欧盟正在制定一项新的研究计划，该计划的重点是国防——在同样的结构下，缺乏对资金决定或信息披露的适当公众监督。他指出："他们也想为国防做这件事，所以这甚至是涉及致命性的技术。"。

到目前为止，围绕iBorderCtrl的披露只有其系统的技术规格的一些部分和一些通信报告，按照Breyer的说法，他指出，这两者都被 "大量删改"。

"比如说他们没有说把这个系统介绍给哪些边境机构，也没有说和哪些政客谈过。其实有趣的是，这笔资金的一部分也是在向欧盟的边境当局和政治家们介绍这项技术。这是非常有趣的，因为委员会一直在说，你看这只是研究，这并不重要。但实际上他们已经在利用这个项目来推广这项技术和销售。即使它从未在欧盟边境使用过，资助开发也意味着它可以被其他政府使用——它可以卖给中国和沙特阿拉伯等。

"还有欺骗检测技术——营销它的公司，一家位于曼彻斯特的公司，名为Silent Talker Ltd——也在向保险公司提供它，或者在工作面试时使用，或者也许如果你在银行申请贷款。因此，这种认为人工智能系统将能够检测谎言的想法有可能被非常广泛地用于私营部门，而且由于我说它根本不起作用，它基本上是一个彩票很多人有可能从这种可疑的技术中获得不利因素"。

他补充说："没有人阻止欧盟资助这种'巫毒'技术，这是相当令人愤怒的"。

委员会告诉我们，"智能便携式边境管制系统"(又名iBorderCtrl) "探索了提高陆地边境口岸效率、便利性和安全性的新思路"，与所有安全研究项目一样，它 "旨在测试应对安全挑战的新思路和新技术"。

"不期望iBorderCtrl能提供现成的技术或产品。并非所有研究项目都会导致开发出具有实际应用的技术。一旦研究项目结束，就由会员国决定是否要进一步研究和/或开发项目所研究的解决方案"。

它还指出，任何未来技术的具体应用 "都必须尊重欧盟和国家的法律和保障措施，包括关于基本权利和欧盟保护个人数据的规则"。

不过，Breyer也对委员会试图通过声称'这只是研发'或它没有决定使用任何特定技术来转移公众注意力的做法叫好。他认为，"当然从事实上看，这给立法者造成了压力，如果事实证明它有用或行之有效，就会同意已经研发的东西"。"而且也即使欧盟本身不使用它，它也会被卖到其他地方——所以我认为对这项研究缺乏审查和道德评估真的是丑闻。尤其是他们已经多次开发和研究监控技术——包括对公共空间的大规模监控"。

"他们在互联网上有大量收集数据和处理互联网数据的项目。安全项目是非常有问题的，因为他们对干涉基本权利——隐私权——进行研究"，他接着说。"项目中确实没有任何限制或排除大规模监控等不道德的方法。而且不仅没有任何物质上的限制，也没有任何制度上的设置，能够从一开始就将这类项目排除在外。然后就算是项目设计好了，启动了，他们甚至会拒绝公开这些项目的权限。这实在是太离谱了，正如我所说，我希望法院能够进行一些适当的平衡，并提供更多的见解，然后我们基本上可以引发一场关于这些研究计划设计的公开辩论"。

他再次指出，委员会计划在同样以工业为中心的决策结构下设立国防研发基金——"同样存在道德评估机制的缺陷"——他指出，虽然欧盟的研究能够为自主武器提供资金有一定的限制，但其他领域也可以为纳税人的现金进行竞标——比如大规模杀伤性武器和核武器。

他补充说："所以，这将是一个巨大的问题，并且会有同样的透明度问题，当然更多的是关于一般的透明度，委员会告诉我们，它 "始终鼓励项目尽可能多地公布其结果"。而具体到iBorderCtrl，它说，关于该项目的更多信息可在CORDIS网站和专门的项目网站上查阅。"

如果你花时间浏览iBorderCtrl网站的 "出版物 "页面，你会发现一些 "可交付成果"——包括 "道德顾问"；"道德顾问的第一份报告"；"以貌取人的道德、个人被污名化的风险和缓解计划"；以及 "欧盟范围的法律和道德审查报告"——所有这些都被列为 "机密"。

相关报道：

https://techcrunch.com/2021/02/05/orwellian-ai-lie-detector-project-challenged-in-eu-court/