select * from article where id=661

赣商法学院--新闻详情

搜索:

赣商研究:

赣商学院 | 基于企业治理视角的AI隐私风险与防范(上)

作者赣商律师事务所王福春 付艺轩 王昱雯 万爱玲 

【摘要】生成式人工智能的深度应用使企业面临数据授权瑕疵、算法黑箱及第三方供应链传导等隐私风险。当前法律通过《个人信息保护法》与《生成式人工智能服务管理暂行办法》确立了企业数据合法性审查义务,司法实践则扩张了企业算法审查责任。同时,AI隐私风险贯穿技术全生命周期对此,企业需构建动态治理框架:优化动态授权强化供应商合同约束完善隐私影响评估体系,并需从被动合规转向“预防-控制-救济”三位一体治理模式,通过跨境传输协议范本与应急响应机制设计,实现治理能力与司法风险的动态平衡,最终构建覆盖全生命周期的法律合规生态

【关键词】企业治理、生成式人工智能、隐私权、数据合规

第一章 AI隐私风险的企业治理义务来源

1.1 现行法律对企业AI治理的强制性要求

在人工智能技术深度嵌入企业运营的背景下,现行法律通过强制性规范为企业设定了明确的隐私风险治理义务。《个人信息保护法》第13条构建了以“合法性基础”为核心的个人信息处理框架,其法理内核在于平衡信息自决与公共利益的双重价值。根据该条款,企业处理个人信息的合法性基础包括但不限于用户同意、合同履行必需及法定职责履行等情形。然而,实践中“用户授权漏洞”的复杂性显著削弱了其制度效能。例如,在生成式AI工具的应用场景中,员工未经充分授权将客户敏感信息输入ChatGPT等系统(如三星电子案例),暴露了企业在“同意”机制动态适配上的缺陷。此类行为本质上违反了“目的限定原则”,即企业未能确保数据使用与用户授权目的的一致性,从而构成对信息主体决定权的实质性侵害。司法裁判已通过扩张解释强化企业责任,要求其不仅需证明初始授权的合法性,还需对全生命周期内的数据处理目的偏移承担举证义务。

《生成式人工智能服务管理暂行办法》第7条进一步细化了企业在AI训练数据管理中的合规义务,其法理逻辑植根于数据主权与算法透明性的双重规制需求。该条款要求企业确保训练数据的合法性来源,涵盖数据权属清晰性、知识产权合规性及个人信息授权完备性等维度。司法实践中,数据权属争议揭示了企业在数据供应链中的治理盲区:即使数据经过匿名化处理,若未能履行对上游数据提供方的合规审查义务,仍可能因“数据投喂”行为的违法性承担连带责任。从法理层面而言,企业需通过“合理性审查标准”验证数据来源的合法性,这一标准不仅要求形式上的授权文件,还需结合数据使用场景评估其对个人信息权益的潜在影响,例如是否超出“合理范围”或构成“二次识别”风险。此外,训练数据质量的“四性要求”(真实性、准确性、客观性、多样性)本质上是对算法公平性的前置保障,企业需通过技术审计与法律风控的双重机制,避免因数据偏见导致歧视性输出结果。

综上,现行法律通过“合法性基础”与“合规审查义务”的双轨规制,构建了企业AI隐私治理的强制性框架。其法理目标在于通过动态适配的治理工具(如场景化授权、数据分级分类),将抽象的信息自决权转化为可操作的企业内控流程,最终实现技术创新与权利保护的制度性均衡。

1.2 司法裁判对企业治理责任的扩张解释

司法裁判通过个案审理不断重塑企业治理责任的边界,在人工智能技术深度应用的背景下,法院通过扩张解释法律条文与原则,强化企业对隐私风险的全链条管控义务。北京首例AI换脸案上海“AI换脸”著作权案的裁判逻辑,集中体现了司法机关对企业治理责任的动态调适与法理创新。

北京首例AI换脸案中,法院突破传统侵权责任框架,将企业算法审查义务嵌入个人信息处理的全生命周期。被告通过深度合成技术将原告视频中的面部特征替换为第三方形象,虽因“去识别化”未构成肖像权侵权,但法院认定其处理包含原告人脸信息的视频属于《个人信息保护法》定义的“个人信息处理行为”。其核心法理逻辑在于:企业作为数据处理的控制者,即便通过技术手段消解了个人信息的可识别性,仍需对数据来源的合法性及处理过程的合规性承担举证责任。本案判决特别强调,企业若未履行对第三方技术服务提供者的算法审查义务(如未验证人脸识别技术的合规性、未监督数据融合环节的合法性),则需对用户权益损害承担连带责任。这一裁判规则实质上将《生成式人工智能服务管理暂行办法》第7条的“数据合规审查义务”扩展至算法技术合作方的协同治理层面,要求企业建立覆盖供应链上下游的动态风控体系。

上海“AI换脸”著作权案则从知识产权与个人信息交叉保护维度,扩张了企业对用户生成内容(UGC)的版权审核义务。被告在其运营的“某颜”小程序中使用他人原创视频作为换脸模板,虽通过局部替换规避直接复制,但法院基于“实质性相似”原则认定其侵害信息网络传播权。更值得注意的是,裁判指出企业应对用户上传内容中的版权瑕疵承担主动审查责任:即便技术实现依赖算法自动化处理,企业仍须通过人工抽查、版权数据库比对等方式验证素材来源合法性。这一要求突破了《信息网络传播权保护条例》中“避风港原则”的被动免责机制,转而以“合理注意义务”标准强化企业的主动治理责任。法院进一步将企业未建立有效审核机制的行为定性为“系统性失职”,需对用户侵权行为承担比例连带责任,其法理基础在于企业从UGC商业模式中获取经济利益与风险控制能力之间的对等性

两案共同揭示司法裁判对企业治理责任的扩张路径:一是义务范围的动态延伸,从直接数据处理行为扩展至算法技术合作方监管、用户行为引导等间接环节;二是证明责任的倒置强化,要求企业自证已采取“技术上可实现、经济上可负担”的合规措施(如北京案中的算法审计记录、上海案中的版权筛查日志);三是利益衡量标准的革新,在技术创新与权益保护的价值冲突中,优先通过企业治理义务的配置实现风险分配。这种司法能动主义既回应了技术迭代带来的规制真空,也为企业构建“预防-响应-救济”三位一体的治理体系提供了判例法支撑。

第二章 企业AI隐私风险的法律类型化分析

2.1 数据合规风险:从收集到输出的全链条失控

企业AI应用的隐私风险根植于数据全生命周期的动态交互特性,其法律规制的核心在于对“数据主权”与“算法自主性”的平衡。数据收集阶段的授权瑕疵集中暴露了企业在技术工具与法律义务间的适配缺陷。以三星电子员工使用ChatGPT处理客户敏感信息事件为例,员工未经充分授权将客户身份信息、消费记录等输入生成式AI系统,表面上符合《个人信息保护法》第13条“履行合同必需”的合法性基础,实则因“概括性授权”的模糊性导致用户对数据处理场景的知情权被架空。此类行为本质上违反了“知情-同意”框架的实质正义要求:企业对员工行为的监管失范,使得“履行合同必需”这一合法性基础异化为规避合规审查的工具。司法实践中,法院在李某诉某电商平台案”中明确指出,企业若未对内部数据访问权限实施分级控制,则需对员工滥用技术工具导致的隐私泄露承担连带责任。

数据使用中的目的限定原则违反则揭示了企业利用AI技术进行跨场景数据融合时的法律风险。以医疗数据与消费数据交叉分析为例,某医疗机构通过AI模型将患者就诊记录与电商平台购物行为关联,生成疾病风险预测报告。尽管数据经匿名化处理,但该行为因超出患者授权同意的“疾病诊疗”原始目的,被认定为违反《个人信息保护法》第6条目的限定原则

上述风险表明,企业数据合规的失控不仅是技术问题,更是治理体系与法律义务的结构性错位。现行法律通过《个人信息保护法》第13条与第6条构建的“合法性基础-目的限定”双轨框架,要求企业在技术应用中实现“形式合规”向“实质合规”的转型。因此,企业需通过“数据生命周期管理”与“员工行为审计”的双重机制,将抽象的法律原则转化为可操作的内控标准,从而规避从数据收集到输出的系统性失控风险。

2.2 算法决策风险:黑箱效应与权力救济困境

人工智能技术的算法决策机制在提升效率的同时,其内在的黑箱效应与权利救济困境构成了法律规制的核心挑战。算法不可解释性不仅削弱了用户对数据处理行为的知情权,更导致虚拟形象侵权呈现多权利竞合的复杂样态,亟需通过法理创新与司法实践重构治理框架。

2.2.1 算法不可解释性引发的知情权侵害

算法黑箱的本质在于输入与输出之间的逻辑断层,使得用户无法追溯决策依据,直接冲击《个人信息保护法》第24条赋予的知情权与更正权。根据张新宝的研究,算法不可解释性导致用户“无法有效判断数据是否被错误处理,更遑论行使删除权或更正权”。例如,在个性化推荐场景中,用户因无法理解算法为何持续推送特定内容(如医疗广告或极端观点),实质上被剥夺了“选择退出”的权利

欧盟《通用数据保护条例》(GDPR)第22条要求自动化决策需提供“有意义的信息”以保障解释权,但实践中,即使平台公开算法原理(如今日头条核心算法),普通用户仍难以理解技术细节。北京互联网法院在“殷某诉AI声音侵权案”中突破性地指出:可解释性标准应结合场景动态调整——对于高风险决策(如医疗诊断),需提供因果逻辑链;对低风险场景(如商品推荐),可接受概率性解释。这一裁判逻辑呼应了周铭提出的“分层可解释性”理论,即法律应基于算法应用的风险等级设定差异化的透明度要求。

2.2.2 深度伪造侵权的责任竞合

深度伪造技术通过虚拟形象对人格权形成复合侵害,典型表现为肖像权、声音权与个人信息权的交叉冲突。在“北京声音权案”中,被告利用AI技术克隆原告声音生成商业化语音产品,法院认定该行为既侵犯声音的可识别性权益,又因未履行《个人信息保护法》第23条的授权审查义务构成双重违法。此案揭示:虚拟形象侵权已突破传统人格权客体边界,需通过“动态关联性”标准判断损害后果——若AI生成形象足以使公众关联到特定自然人,即便未直接使用原始生物特征,仍构成对肖像权与声音权的实质侵害

更深层的法理困境在于责任主体的模糊性。例如,在“廖某诉某科技文化案”中,AI换脸App运营商辩称其仅提供技术工具,但法院依据《互联网信息服务深度合成管理规定》第7条,认定平台对用户生成内容的版权瑕疵负有“合理性审查义务”,需对侵权行为承担比例连带责任。这一裁判逻辑与张毅的观点高度契合:平台作为算法权力的实际控制者,其“技术中立”抗辩应受严格限制,需通过“控制力-收益对等原则”分配责任。

2.3 第三方供应链风险:合规责任的链式传导

人工智能技术生态的复杂性使得企业面临“合规责任链式传导”风险,即因第三方供应商的技术漏洞或跨境数据流动中的制度冲突,导致企业被追责。此类风险的本质在于,法律对企业与供应链之间的“控制力”与“利益共享性”提出更高要求,要求其承担穿透式合规义务。

2.3.1 API接口漏洞导致的连带责任

API作为数据交互的核心通道,其安全性缺陷可能引发系统性数据泄露。平台使用未经审查的第三方API,若造成用户信息泄露,即便企业主张其仅承担“技术服务提供者”的角色,法院依然可以依据《个人信息保护法》第21条认定其未尽到“第三方合作方管理义务”,需承担连带赔偿责任。

其法理逻辑可从三层面解读:

第一是技术控制义务的扩张:企业作为数据处理者,需对供应链的“技术可控性”负责API接口的漏洞本质上属于“技术措施缺陷”,企业若未验证第三方是否部署数据加密、访问日志留存等技术防护手段,即构成《网络安全法》第22条规定的“未履行网络安全保护义务”。

第二是合规审查的穿透性:法院在微博诉iData案”中明确,企业需对第三方数据调用行为实施“全链条审计”。例如,审查API服务商是否遵循《数据安全法》第32条“数据分类分级”要求,是否对敏感信息进行脱敏处理。若企业仅要求第三方提供形式合规承诺而未验证技术实现,则需承担“审查失职”责任。

第三是风险预见性的司法推定:在某医院SpringBoot接口泄露案”中,法院认为企业应当预见第三方API可能存在的未授权访问风险,尤其是涉及患者病历、身份信息等敏感数据时,需通过渗透测试、代码审计等方式验证接口安全性。未履行此义务即构成《民法典》第1168条“共同过错”要件。

2.3.2 跨境传输中的司法管辖权冲突

AI供应链的全球化特性使得数据流动面临多重司法管辖冲突。韩国DeepSeek事件即暴露此问题:中国AI企业因未在韩指定数据保护代理人,且未将用户对话数据存储于本地服务器,被韩国个人信息保护委员会(PIPC)依据《韩国个人信息保护法》第28条处以服务暂停处罚。该案的核心争议在于:

其一是数据主权与算法控制的博弈。跨境数据流动规则实质是“主权让渡”与“技术控制权”的较量。DeepSeek虽主张其服务器位于中国且数据加密传输,但韩国法院依据“效果原则”认定其服务对韩国用户产生实质影响,故需遵守本地化存储要求。这反映《数据出境安全评估办法》第4条与境外规则的直接冲突。

其二是合规义务的双重绑定。企业在跨境合作中需同时满足母国与东道国要求。例如,中国《个人信息保护法》第38条允许通过标准合同实现数据出境,但韩国PIPA第39-5条强制要求指定境内代理人。若企业未建立“分层合规机制”(如欧盟GDPR的BCRs规则),可能陷入“合规悖论”:遵守中国法律的数据出境流程,从而触发东道国违法风险。

其三是司法管辖权的动态平衡。在KakaoPay与Apple跨境数据处罚案”中,韩国PIPC要求销毁基于违规数据训练的AI模型,这超越了传统数据删除义务,实质是将司法管辖权延伸至算法产物。此种“算法管辖”趋势要求企业重新评估跨境供应链中的模型训练数据合规性,例如确保数据来源符合东道国的“最小必要”原则(如韩国要求的k-匿名度≥3标准)

针对这些争议,可以参照总结适应我国国情的法理重构路径。首先是供应链合规的“控制力-收益”对等原则。企业需依据《反不正当竞争法》第2条,根据对第三方供应商的技术依赖程度与商业收益比例,设定差异化管理义务。例如,对核心算法供应商实施源代码审计,对非关键服务商仅做合规文件审查。其次是跨境数据流动的合规沙盒机制参考欧盟-日本数据流动协议,企业可通过沙盒测试验证跨境数据传输方案,在特定场景(如医疗诊断模型训练)中豁免部分本地化要求,但需承诺“数据可追溯”与“模型可解释”。最后是第三方漏洞的“过错推定”规则,司法机关可借鉴“微博诉iData案”的裁判逻辑,要求企业自证已对API接口实施“合理性审查”,包括验证加密协议版本(如TLS 1.3)、访问频率阈值设定等。若未能举证,则推定其存在过错。

第三章 企业AI隐私治理机制的法律构建

3.1 合规义务的体系化设计

AI技术快速迭代的背景下,动态分级授权机制与数据最小化原则构成企业合规义务的核心框架。

韩国个人信息保护委员会(PIPC)提出的“场景化同意”机制,要求企业根据数据处理场景的风险等级设定差异化的用户授权标准。例如,在医疗诊断场景中,需通过独立弹窗、分层条款获取用户的主动授权;而在低风险场景(如商品推荐),可采用默认勾选但允许用户随时撤回的模式。这一机制的本土化应用需结合中国《个人信息保护法》第13条的“合法性基础”要求,将“同意”的效力从形式合规转向实质控制。

数据最小化原则的司法审查标准则需突破形式审查的局限。欧盟GDPR第5条强调“数据收集限于必要目的”,而中国《数据安全法》第6条要求“数据分类分级管理”,两者虽表述差异但法理内核一致。司法实践中可借鉴韩国PIPA的“k-匿名度≥3”技术标准,结合中国“去标识化”要求,构建以“可复原性”与“用途关联性”为双轴的审查体系。

3.2 组织架构的法律责任分配

企业需通过法定职责配置与合同约束机制实现责任穿透。韩国推行的“AI隐私红队制度”要求企业设立首席隐私官(CPO),其职责不仅包括制定隐私政策,还需主导模拟攻击测试以识别算法漏洞。例如,Meta公司因未建立有效的版权筛查机制,被韩国PIPC处以2100万美元罚款,凸显CPO在技术审计中的核心作用。中国可借鉴该制度,明确CPO对数据全生命周期的监督权,并要求其直接向董事会汇报,避免与业务部门的利益冲突

第三方供应商的合同审查需以《民法典》第1191条连带责任条款为法律抓手。在“某翻译平台API数据泄露案”中,法院认定企业未履行对第三方接口的技术审查义务,需承担连带赔偿责任。合同设计中应包含“穿透式审查条款”,例如要求供应商提供加密协议版本证明(如TLS 1.3)、数据脱敏技术标准及审计日志留存方案,并将违约行为与惩罚性赔偿挂钩。

3.3 司法应对策略的预先部署

3.3.1 集体诉讼防御机制:美国ChatGPT数据泄露集体诉讼案的启示

美国ChatGPT数据泄露集体诉讼案(以下简称“OpenAI案”)揭示了生成式人工智能企业在数据合规领域的系统性法律风险。该案中,OpenAI被指控未经用户同意抓取互联网上的个人数据(包括儿童信息)用于训练模型,涉嫌违反《计算机欺诈和滥用法》《加州侵犯隐私法》等多项法律。原告主张,OpenAI通过整合ChatGPT API的第三方平台(如Snapchat、Stripe)实时截获用户输入数据,构成对电子通信的非法窃听。法院在裁判中援引“效果原则”,认定即使数据经加密传输或存储于境外服务器,只要对用户权益产生实质影响,企业仍需承担本地化合规义务。这一裁判逻辑与丁晓东提出的“数据主权与技术控制权博弈”理论相呼应,即跨境数据流动的合法性需兼顾母国与东道国的双重规制要求。

该案的核心法理启示在于:企业需构建“分层合规框架”以应对集体诉讼风险。首先,应通过技术手段实现数据来源的可追溯性,例如对训练数据实施区块链存证并标注数据采集时间、授权状态。其次,需在用户协议中明确数据二次利用的边界,避免“概括性授权”条款被法院认定为无效。例如,OpenAI案中用户协议虽允许“改进产品”,但未具体说明数据用于模型训练的范围,导致法院认定其超出合理预期。此外,企业可借鉴欧盟“充分性保护”机制,与高合规标准国家签订双边数据流动协议,降低域外管辖风险。

3.3.2 企业内部证据留存规则:应对《个人信息保护法》第69条举证责任倒置

《个人信息保护法》第69条确立的举证责任倒置规则,要求企业在诉讼中自证已履行数据安全保障义务。在“庞某某诉东航案”中,东航因未能提供数据访问日志和加密协议版本证明,被法院推定存在过错。此案表明,司法实践中对“过错”的认定已从形式合规转向实质风控能力评估

企业证据留存体系需围绕“全生命周期管理”展开:

1)技术性证据:包括数据加密记录、访问日志、算法审计报告等。例如,北京互联网法院在“殷某诉AI声音侵权案”中明确,企业需保存API接口的渗透测试报告及第三方服务商的技术合规承诺。

(2制度性证据:涵盖隐私政策版本迭代记录、员工培训档案、数据分级分类制度等。根据郭锋的研究,法院倾向于将“动态风险评估机制”作为判断企业是否尽到注意义务的关键指标。

(3)外部鉴证证据:引入第三方机构进行合规审计,可以达到增强数据效力的作用。

此外,企业可借鉴韩国PIPC的“红队测试”制度,定期模拟数据泄露场景并留存应急处置记录,以应对《个人信息保护法》第69条的“合理性注意义务”标准。在技术层面,区块链存证与时间戳固化能有效解决电子证据易篡改问题,例如三星电子在员工滥用ChatGPT事件后,通过行为审计系统记录数据访问轨迹,成功完成举证。

综上,司法应对策略的构建需以“风险预见性”与“技术可验证性”为双重导向,通过制度设计将抽象法律义务转化为可追溯、可审计的操作规范,从而在集体诉讼与行政监管中占据主动地位。


上一条:王福春应邀为中国PPP产业大讲堂专家 分享最新PPP产业基金和资产证券化实务操作 下一条:赣商学院 | 数字人民币跨境支付场景下的法律冲突与合规路径优化——以mBridge试点与供应链金融风险防控为切入点 返回列表