生成式人工智能治理的态势、挑战与展望

【中图分类号】D92 【文献标识码】A

生成式人工智能（Generative AI）是人工智能发展过程中出现的新型技术，可使用统计方法根据概率生成新内容，如视频、音频、文本甚至软件代码。通过使用Transformer（一种基于自注意力机制的神经网络模型），生成式人工智能可深入分析现有数据集，识别其中的位置连接和关联关系，再借助人类反馈强化学习算法（Reinforcement Learning from Human Feedback）不断优化训练形成大语言模型，最终能够为新内容的生成作出决策或预测。①除了文本生成和内容创作之外，生成式人工智能还拥有广泛的应用场景，如客户服务、投资管理、艺术创作、学术研究、代码编程、虚拟协助等。概言之，自我生成、自我学习并快速迭代是生成式人工智能区别于传统人工智能的基本特点。

国家网信办等七部门正式发布的《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）自2023年8月15日起施行，旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益。作为引领新一轮科技革命和产业变革的关键技术，以ChatGPT为代表的生成式人工智能不断催生新场景、新业态、新模式和新市场，改变了信息和知识的生产方式，重塑了人类与技术的交互模式，对教育、金融、媒体和游戏等行业均产生重大影响。在此背景下，全球各国纷纷出台人工智能发展战略和具体政策，抢占战略制高点。与此同时，生成式人工智能暴露出的数据泄露、虚假内容生成、不当利用等安全风险也引起各国广泛关注。可以肯定地讲，生成式人工智能的发展、运用和治理，不再是某一国而是整个国际社会面临的共同挑战。

国外人工智能主要监管模式评析

人工智能是一把“双刃剑”，在促进社会进步的同时，也带来了风险与挑战。国际社会致力于持续推动人工智能向善发展。例如，联合国教科文组织通过了首份人工智能伦理问题全球性协议——《人工智能伦理问题建议书》，明确了相称性和不损害、安全和安保、公平和非歧视等十项原则。欧盟自2018年以来持续推进人工智能的设计、开发和部署，同时努力规范人工智能及机器人的使用和管理。2024年初生效的欧盟《人工智能法案》助推此项工作达到高潮，甚至成为人工智能治理史上的里程碑。美国更注重人工智能发展，以《人工智能权利法案蓝图》（以下简称《权利法案蓝图》）为主要举措对人工智能发展进行规制。鉴于欧盟和美国的人工智能治理措施相对成熟且具有代表性，下文以二者为例探讨不同监管模式的优劣，希冀为我国人工智能的健康发展和有效治理提供借鉴。

欧盟人工智能立法：安全优先，兼顾公平。从立法历程上看，2021年4月，欧盟委员会发布了立法提案《欧洲议会和理事会关于制定人工智能统一规则(人工智能法) 和修订某些欧盟立法的条例》（以下简称《人工智能法案》），开启了人工智能治理的“硬法”道路。2022年12月形成了《人工智能法案》折衷草案的最终版。2023年6月，欧洲议会通过了《人工智能法案》的谈判授权草案，并修订了原始提案。2023年12月8日，欧洲议会、欧洲理事会和欧盟委员会三方就《人工智能法案》达成协议，法案规定了对人工智能领域的全面监管。从总体上看，《人工智能法案》在欧盟建立起人工智能开发、使用的道德和法律框架，并辅以《人工智能责任指令》确保落地执行。《人工智能法案》的多轮讨论主要围绕以下内容：

一是人工智能的定义与法案适用范围。《人工智能法案》第3条将人工智能定义为一种或多种技术和方法开发的软件，其能够影响交互环境的输出（如内容、预测、建议或决策），实现人为指定的特定目标。该定义范围较为广泛，可能涵盖大量传统上不被视为人工智能的软件，不利于人工智能的发展和治理。因而，当前版本将人工智能定义限缩为“基于机器学习或逻辑和知识的系统”，旨在以不同的自主性水平运行，并且为了明确或隐含的目标，可以影响物理或虚拟环境的预测、建议或决策等输出。同时，删除了附件一和欧盟委员会修改人工智能定义的授权。《人工智能法案》虽未涉及生成式人工智能，但ChatGPT的出现，使得立法者在修正案中增加了通用人工智能和基础模型相关定义，并要求生成式人工智能遵守额外的透明度要求，如披露内容来源、设计模型禁止非法生成。《人工智能法案》具有域外效力，适用于所有人工智能系统的提供商和部署者（无论是在欧盟还是在第三国建立的）以及所有分销商和进口商、提供商的授权代表、在欧盟建立或位于欧盟的某些产品的制造商，以及健康、安全或基本权利因使用人工智能系统而受到重大影响的欧盟数据主体。

二是人工智能的监管模式。《人工智能法案》采用了基于风险的分级监管方法（risk-based approach），根据对健康、安全和自然人基本权利的潜在风险对其进行分类并设置不同义务：第一是不可接受的风险，禁止任何企业或个人部署；第二是高风险，允许相关主体在履行事前评估等义务后投放市场或使用，同时要求事中、事后持续监测；第三是有限风险，无须取得特殊牌照、认证或履行报告、记录等义务，但应遵循透明度原则，允许适当可追溯性和可解释性；第四是低风险或最低风险，相应主体可依据自由意志部署和使用。具体到生成式人工智能而言，由于其没有特定目的并且可应用于不同场景，故不能基于一般方式或操作模式对其进行风险分级，而应当按照开发或使用生成式人工智能的预期目的和具体应用领域。②

三是人工智能的一般原则。具体包括：人类代理和监督：人工智能系统的开发和使用必须作为服务于人类的工具，尊重人类尊严、个人自主性和功能，并由人类适当控制和监督；技术稳健性和安全性：人工智能的开发和部署应最大限度地减少意外和意外的损害，确保在出现意外问题时的稳健性，以及在恶意第三方试图改变人工智能系统性能而非法使用时的弹性；隐私和数据保护：人工智能系统必须按照现有的隐私和数据保护规则开发和使用，同时处理在质量和完整性方面符合高标准的数据；透明度：人工智能系统的开发和使用方式必须允许适当的可追溯性和可解释性，让人类意识到他们与人工智能系统进行通信或互动，并适当地告知用户人工智能的能力和局限性，以及受影响之人享有的权利；非歧视和公平：人工智能系统的开发和使用必须包括不同参与者，促进平等使用、性别平等和文化多样性，同时避免欧盟或国家法律禁止的歧视性影响和不公平偏见；社会和环境福祉：人工智能系统应以可持续和环保的方式开发和使用，让所有人受益，同时监测和评估对个人、社会和民主的长期影响。

欧盟意图通过《人工智能法案》建立人工智能监管全球标准，进而使欧洲在国际智能竞争中取得优势地位。《人工智能法案》为处理人工智能系统制定了相对合理的规则，在一定程度上可以避免歧视、监视和其他潜在危害，特别是在与基本权利相关的领域。例如，《人工智能法案》列出了禁止人工智能的某些用途，公共场所的面部识别便是其一。此外，其将确定减轻风险的控制措施整合到可能出现风险的业务部门中，能够帮助各组织了解人工智能系统的成本效益，开展合规（自我）审查明确责任和义务，最终自信地采用人工智能。但同时，《人工智能法案》在风险分级、监管力度、权利保护与责任机制等方面亦有缺陷，如其采用的是横向立法，试图把所有人工智能都纳入监管范围，而未深入考量人工智能之间的不同特性，可能会导致相关风险防范措施面临无法执行的问题。③

美国人工智能立法：强调自我监管，支持技术创新。在人工智能法律和政策制定的全球背景下，美国逐渐形成以自愿原则为基础的监管框架。美国较为全面的监管举措是白宫科技政策办公室（OSTP）于2022年10月发布的《权利法案蓝图》，其旨在支持自动化系统设计、部署和治理过程中，保护公民权利。在《权利法案蓝图》指导下，联邦各部门开始各司其职，着手制定具体政策，如美国劳工部制定了《公正的人工智能行动手册》，旨在避免人工智能对求职者与员工产生基于种族、年龄、性别等特征的偏见。《权利法案蓝图》的核心内容是五项原则：安全有效的系统：公众受到保护，免受不安全或无效的系统的影响；算法歧视保护：公众不应面临算法和系统的歧视，自动化系统应当以公平的方式使用和设计；数据隐私：自动化系统应该有内置的保护措施保障公众的数据不被滥用，并且确保公众享有使用数据的主导权；知悉和解释：公众有权知道其正在使用自动化系统，并且理解它是什么以及如何产生对公众有影响的结果；可替代性原则：在适当的情况下，公众应该能够选择不使用自动化系统，并使用人工替代方案或其他可选方案。④由于以上原则不受监管而缺少约束力，故《权利法案蓝图》并非一份具有立法保护的可执行的“权利法案”，更多的是立足未来设想的前瞻性治理蓝图。

目前美国国会对人工智能的监管采取了相对不干涉的方法，尽管民主党领导层已经表示打算引入一项监管人工智能的联邦法。美国参议院多数党领袖查克·舒默（Chuck Schumer）提出了指导未来人工智能立法和监管的新框架，具体包括“何人”“何处”“如何”与“保护”四道护栏，要求科技公司在发布人工智能系统之前进行审查和测试，并向用户提供结果。但在美国两党互相制衡的情况下，该法律通过国会的可能性较低，即使有机会通过，也需经过多轮修改。与之相对，面对欧盟《人工智能法案》带来的战略竞争压力以及以ChatGPT为代表的生成式人工智能的多领域安全风险，美国联邦机构采取了积极介入的态度，在管辖权限内进行监管。例如，美国联邦贸易委员会（FTC）通过执行《公平信贷报告法》《联邦贸易委员会法》等法规，积极监管与人工智能有关的欺骗性和不公平行为，OpenAI面临的第一起调查正是FTC进行的；2023年1月，美国国家标准与技术研究院（NIST）制定了《人工智能风险管理框架》，对人工智能存在的风险进行了详尽的分级分类；2023年4月，美国商务部就人工智能问责措施公开征求意见，包括人工智能模型在发布前是否应经过认证程序。

从美国地方层面上看，加州通过了《2018加州消费者隐私法案》（CCPA），作为对欧盟《通用数据保护条例》的积极回应。2023年，在议员鲍尔·卡汉（Bauer Kahan）的推动下，加州提出AB331（Automated decision tools）法案，要求部署者和自动化决策工具的开发者在2025年1月1日或之前，以及此后每年，对其使用的任何自动化决策工具进行影响评估，其中包括自动化决策工具的目的及其预期收益、用途和部署环境的声明。纽约市颁布了《自动化就业决策工具法》(《AEDT Law》)，要求在招聘和晋升决策中使用“自动化就业决策工具”的雇主和职业平台，对人工智能系统进行全新的、彻底的审查以及更全面的风险测试，评估其是否落入《AEDT Law》的适用范围。此外，得克萨斯州、佛蒙特州和华盛顿州的立法机构均引入相关立法，要求州机构对正在开发、使用的人工智能系统进行审查，有效披露人工智能的使用情况。可见，美国地方政府对人工智能治理还是持积极态度。地方面临的主要挑战是，如何在最小妨碍的基础上监管硅谷的人工智能创新。以加州为例，为了克服这一挑战，其所提出的法案作了两方面的规定：一是将人工智能治理的重心放在了算法决策对公民的权利、机会和获得关键服务的风险，而不是具体技术的细节上，能够允许人工智能的创新发展；二是确立了人工智能透明度，要求开发人员和用户向加州民权部提交能够详细说明所涉及的自动化工具类型的年度影响评估，供公众访问。开发人员还需制定一个治理框架，详细说明该技术的使用方式和可能的影响。此外，加州法案还提到私人诉讼权的问题，通过允许个人在权利受到侵犯时提起诉讼，为权利保障提供了救济途径。⑤

目前美国人工智能监管重点仍是将现有法律适用于人工智能，而不是制定专门性人工智能法律。例如，FTC多次表示《联邦贸易委员会法》第5条“禁止不公平或欺诈行为”完全可适用于人工智能和机器学习系统。⑥事实上，如何协调现有法律与人工智能之间的冲突，不仅是某一国家的当务之急，亦是国际社会面临的紧迫问题。目前，美国国会尚未就人工智能监管的联邦立法达成共识，包括监管框架、风险分类分级等具体内容。美国参议院多数党领袖查克·舒默主张对人工智能进行类似欧盟的全面监管，并通过制定框架、专题论坛等途径加速国会立法进程，这与美国的自愿原则存在一定冲突，因而，联邦层面人工智能监管立法的出现还需较长时日。

生成式人工智能对信息内容治理的新挑战

一般来讲，人工智能面临的风险主要来自技术、市场与规范等三个方面。⑦以ChatGPT为代表的生成式人工智能在靠近通用人工智能目标的同时，也带来了信息内容治理的全新挑战，亟需前瞻性、针对性的理论研究。学界分析生成式人工智能风险的主要视角包括：一是基于人工智能一般风险，并结合生成式人工智能独有特点，对其在智能伦理、知识产权保护、隐私与个人数据保护等方面的风险展开研究；⑧二是结合特定领域，研究生成式人工智能在该领域内的风险与治理，如生成式人工智能在司法裁判中的量刑偏差风险；三是立足生成式人工智能的运行结构，分别从准备、运算到生成阶段研究其中的风险问题，进而采用相应措施，如采用技管结合纠正生成式人工智能在运算阶段的算法歧视风险。⑨本文认为还可从内外部视角展开分析，内部挑战是模型自身存在的挑战，包括输入质量问题、处理过程问题、输出质量问题；外部挑战则是来自非模型自身的挑战，包括不当利用风险以及法律监管风险。

输入质量问题：人工智能由算法、算力和数据要素组成，其中数据是人工智能的基础，在一定程度上决定着其输出的准确性与可靠性。生成式人工智能系人工智能的一种，故其输出（生成的内容）同样会受到数据的数量和质量影响。生成式人工智能必须用高质量数据进行训练，一旦数据集被污染或篡改，训练出的生成式人工智能便可能损害用户基本权利、知识产权、个人隐私和信息数据权，甚至产生社会偏见。

处理过程问题：除数据外，训练时使用的算法模型同样会影响人工智能的输出结果。如果将人工智能的训练看作一场料理，训练数据是以“材料”的角色影响着最终料理的质量，而算法模型则是以“菜谱”的角色发挥着自身作用，两者缺一不可。一旦选用的算法模型存在问题或与预期目的不一致，即便输入再多、再好的数据也无法得到表现良好的人工智能系统。由机器学习算法和训练数据所引发的人工智能歧视和偏见问题，统称为先行存在的算法偏见，与新知识、新业态、新场景出现后引发的突发性算法偏见相对应。技术更迭并未杜绝虚假生成问题，只是将其进行了包装和掩饰，所以生成式人工智能会经常出现突发性算法偏见，进一步增加了使用风险和治理难度，因而需要更为精准的防护措施。

输出质量问题：事实上，风险本质上源于人们对事物认知和控制能力不够，无法在问题萌芽甚至爆发前及时解决。从该角度来讲，技术的可控程度与其风险高低是成反比的，技术越难控制则风险越高。大语言模型和思维链在赋予生成式人工智能逻辑推导能力的同时，也使得其输出内容越来越难以预测，换言之，生成式人工智能的可控程度较低，具有较高的潜在风险。比如，由于社会文化差异，生成式人工智能的输出在一种文化背景下可能是合适的，但在另一种文化环境下却是冒犯性的。人类能辨析此类区别，但生成式人工智能可能因缺少文化方面的前置设计而无法区分文化的细微差别，在无意中产生不恰当的内容。

不当利用风险：生成式人工智能在具备高智能的同时，使用的难度和成本较低，这就为部分人员利用其强大力量从事非法活动提供了可能空间，不当利用风险由此产生。我国教育部起草的《中华人民共和国学位法（草案）》中对利用人工智能代写学位论文等行为及其处理作出明确规定。OpenAI公司称其正在向ChatGPT进行敏感词训练，当用户的提问明显违反已嵌入的伦理和立法时，ChatGPT会拒绝回答。即便如此，部分人员仍然能够绕过ChatGPT预先设置的“防火墙”，指示其生成非法内容或完成非法操作，不当利用风险未得到有效遏制。长此以往，生成式人工智能可能引发社会信任危机，使社会民众陷入真假难辨、人人自危的困境，最终造成“真相的终结”，使人类社会进入“后真相时代”。⑩

法律监管风险：生成式人工智能内部的输入质量问题、处理过程问题和输出质量问题，以及外部的不当利用风险共同将其监管难度推向新的高峰，造成了监管失效的法律风险。生成式人工智能的法律风险不局限于某一特定领域，而是横贯多个领域，需要多个部门的协同治理。生成式人工智能的使用条款往往缺乏对用户交互数据的授权处理，可能会引发个人隐私和国家安全问题，因为大型企业中的部分数据已经具有了公共属性，一旦出现泄露事件不仅会损害企业利益，更可能对国家安全造成威胁。除此之外，生成式人工智能决策过程不够透明的问题，也会对法律监管造成影响，甚至成为监管机关禁止其在特定领域部署的决定性理由。

解决方案：寻求多维平衡

面对生成式人工智能的巨大应用价值和内外部的风险挑战，我们需要作出合理抉择。目前，世界各国虽然对生成式人工智能的安全性有所质疑，但一致认可其在国际竞争、经济发展、数字政府建设等方面的应用潜力，通过制定相关政策和法规尝试处理好安全与发展、技术创新与公共利益之间的关系，为生成式人工智能的使用奠定前提和保障。我国亦不例外。从《暂行办法》第1条规定看，该法制定目的正是“为了促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益”。第3条更是明确指出立法者对于生成式人工智能治理的总体态度，即“坚持发展和安全并重、促进创新和依法治理相结合的原则”。事实上，透过该原则便可发现当前适合我国国情的解决方案，即寻求生成式人工智能治理的多维平衡。

首先，应当平衡安全和发展的关系。在总体国家安全观下，安全是发展的前提，发展是安全的保障，不发展就是最大的不安全。我国必须积极发展生成式人工智能等现代科技手段促进经济发展和社会进步，不断增强我国国际竞争力。《暂行办法》第3条指出，“对生成式人工智能服务实行包容审慎和分类分级监管”。关于具体的措施，《暂行办法》也给出方案：第5条和第6条明确了鼓励发展的方向和内容，如支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作；第7条和第8条分别从预训练、优化训练等训练数据处理和数据标注对生成式人工智能的安全提出了要求，如生成式人工智能服务提供者应当使用具有合法来源的数据和基础模型，不得侵害他人依法享有的知识产权等。

其次，应当平衡技术创新和技术治理的关系。在采取措施加快生成式人工智能创新发展的同时，也要认识到其所带来的内外部风险挑战，相应地进行治理。简言之，应当在创新中治理，在治理中创新，保证技术创新在法治轨道上运行。为此，一方面，发挥政策引领经济社会发展的作用，通过简化行政许可、减少税收等途径积极鼓励企业进行技术创新，同时引导企业利用自身发展推动经济社会发展，对其正当权益通过立法的形式予以确认；另一方面，坚守依法治理底线，对于企业可能的违规违法行为予以及时规范和处理。具体而言，根据《暂行办法》第19条之规定，有关主管部门依据职责对生成式人工智能服务开展监督检查，提供者应当依法予以配合；对于生成式人工智能提供者违反《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规的行为，予以罚款、责令停止提供服务、追究刑事责任等相应处罚；如果现有法律法规无法有效规范技术发展的新业态，可先由主管部门予以警告、通报批评，责令限期改正，之后及时进行立法（需要考虑特殊立法与一般立法、国家立法与地方立法的辩证关系），确保有法可依、依法行政。

最后，应当平衡企业合规义务和企业负担能力的关系。生成式人工智能的有效治理，需要开展模型训练、提供生成服务的企业承担相应的合规义务，但此种义务必须是适当的，不应超过企业的负担能力。对此，可从《暂行办法》的相关规定中寻得规范支撑：其一，第3条要求对生成式人工智能服务进行分类分级监管，言下之意就是要依据具体风险大小进行治理，对在不同领域提供不同生成式人工智能义务的企业提出有程度差别的合规义务，这一点与《人工智能法案》基于风险的分级监管颇为相似；其二，与原先征求意见稿相比，第7条和第8条明显降低了企业研发、训练生成式人工智能的合规要求，如原有第7条第（4）项“能够保证数据的真实性、准确性、客观性、多样性”改为“采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性”，原有第8条“抽样核验标注内容的正确性”改为“抽样核验标注内容的准确性”；其三，第9条和第14条通过重新分配服务提供者与用户的权利义务，给予了提供者更为灵活的合规空间，以增强其主动合规的意愿。例如，将“内容生产者责任”改为“网络信息内容生产者责任”，使提供服务的企业不必为用户恶意滥用生成式人工智能生成的非法内容承担责任。

生成式人工智能技术已经在商业贸易、新闻传播等多行业掀起巨大波澜，如何进行有效监管使其服务于人类社会是各国应当长期思考和解决的现实命题。不同国家选择的人工智能监管模式反映着特定的社会价值观和国家优先事项，这些不同的要求可能相互冲突，如注重保障用户隐私和促进技术创新，因而造成了更为复杂的监管环境。欧盟的“安全优先，兼顾公平”和美国的“强调自我监管，支持技术创新”虽然有诸多不同之处，但也存在着共识部分，或多或少能促进生成式人工智能的技术创新、安全使用与依法治理。同时，透明度和可解释性将是遵守新兴法规和培养对生成式人工智能技术信任的关键所在。欧美立法动向也提醒我国要尽快进行国家层面的人工智能立法，确定人工智能治理的基本原则，以及风险管理制度、主体责任分配、法律责任等内容，统筹全国的治理布局，还要充分发挥地方积极性，通过地方立法先行先试，避免无法可用的同时为国家层面的人工智能立法积累经验。

（作者为浙江大学光华法学院教授、博导）

【注：本文系国家社科基金重大项目“建立健全我国网络综合治理体系研究”（项目编号：20ZDA062）阶段性成果】

【注释】

①Ouyang L,Wu J,Jiang X,et al."Training language models to follow instructions with human feedback",Advances in Neural Information Processing Systems,2022(35),pp.27730-27744.

②Natali Helberger,Nicholas Diakopoulos."ChatGPT and the AI Act",Internet Policy Review,2023,12(1).

③曾雄、梁正、张辉：《欧盟人工智能的规制路径及其对我国的启示——以〈人工智能法案〉为分析对象》，《电子政务》，2022年第9期。

④The White House,"Blueprint for an AI Bill of Rights",October 2022.

⑤Friedler, Sorelle, Suresh Venkatasubramanian, Alex Engler,"How California and other states are tackling AI legislation",Brookings,March 2023.

⑥Müge Fazlioglu."US federal AI governance: Laws, policies and strategies",International Association of Privacy Professionals,June 2023.

⑦程乐：《人工智能发展趋势研判与规范引导思路》，《国家治理》，2023年第6期。

⑧程乐：《生成式人工智能的法律规制——以ChatGPT为视角》，《政法论丛》，2023年第4期。

⑨刘艳红：《生成式人工智能的三大安全风险及法律规制——以ChatGPT为例》，《东方法学》，2023年第4期。

⑩张广胜：《生成式人工智能的国家安全风险及其对策》，《人民论坛·学术前沿》，2023年第7期。