简介
AI换脸在社交、影视、医疗等诸多领域深化应用。2023年5月23日,全国信息安全标准化技术委员会发布了《网络安全标准实践指南——人脸识别支付场景个人信息保护安全要求(征求意见稿)》。8月,国家互联网信息办公室发布的《人脸识别技术应用安全管理规定(试行)(征求意见稿)》。8月15日,中国正式施行《生成式人工智能服务管理暂行办法》。2024年3月15日,央视3·15晚会曝光了多起利用AI技术换脸、变声实施诈骗的案例,再次引发人们对AI应用的关注。央视3·15晚会后,在淘宝上以“AI换脸”“AI直播”等关键词搜索,已经搜不到任何内容。但是,仍然可以搜索到AI拟声相关产品服务在售。
发展历程
2023年是人工智能元年。2023年5月23日,全国信息安全标准化技术委员会发布了《网络安全标准实践指南——人脸识别支付场景个人信息保护安全要求(征求意见稿)》,以人脸识别支付为场景,对常见风险情形进行提示,包括人脸识别数据的强采、偷采、滥采、滥用,未经授权处理人脸相关数据,敏感个人信息泄露等。2023年8月,国家互联网信息办公室发布的《人脸识别技术应用安全管理规定(试行)(征求意见稿)》,也从技术应用安全管理的角度,规范人脸识别技术应用。2023年8月15日,中国正式施行《生成式人工智能服务管理暂行办法》。《生成式人工智能服务管理暂行办法》从多个方面"划下红线",旨在促进生成式人工智能健康发展和规范应用。
2024年被视为是“人工智能效用时代”的开始。2024年3月,“网信中国”公众号发布“清朗·规范生成合成内容标识”专项行动。落实《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》相关要求。2024年3月15日,央视3·15晚会曝光了多起利用AI技术换脸、变声实施诈骗的案例,再次引发人们对AI应用的关注。
技术原理
AI换脸过程主要包括人脸识别追踪、面部特征提取、人脸变换融合、背景环境渲染、图像与音频合成等几个关键步骤。
首先通过视频的采集,追踪定位图片里人的面部;第二步,做一个面部特征点的采集和提取,主要包括嘴、鼻子跟眼睛的特征;第三步就是把这张原始的照片,做一个变换跟融合。
其背后最核心的包括为三个部分,首先,利用深度学习算法精准地识别视频中的人脸图像,并提取出如眼睛、鼻子、嘴巴等关键面部特征。其次,将这些特征与目标人脸图像进行匹配、替换、融合。最后,通过背景环境渲染并添加合成后的声音,生成逼真度较高的虚假“换脸”视频。
技术特点
AI换脸技术是一种深度合成技术,利用深度学习、虚拟现实等生成合成类算法对图像进行分析和处理,它的学习技术本身是一种基于神经网络的技术,通过神经网络再基于分布的规律和用户要求将图像重新排布拟合来制作生成图像、音频、视频等信息。借助AI技术实现图像中人脸的替换,首先需要对图像中的人脸进行检测和定位,精准地识别眼睛、嘴巴、鼻子、眼角等关键人脸特征点。其次,需要将更换的人脸进行同步操作,通过一定的数学转换,将其与目标图像中的人脸对齐。如果要在视频中实现人脸更换,还需要追踪人脸特征,以确保视频中人脸的稳定替换。此外,为了使AI换脸效果逼真自然,还需要确保替换后的人脸与原始图像中人脸所处的环境保持一致,包括光照、阴影等效果。
AI换脸的难点是精准还原面部细节,对此,合成新的图片需要进行大量的对抗训练。对抗训练是从人脸识别进入人脸生成阶段的关键要素,在人脸照片生成后,判别器会通过无限次循环来判别原来的关键信息是否丢失,当判别高达99%之后才会输出新照片。AI人脸出图的速度与对抗训练时长、服务器承载量相关。而衡量一张换脸照片是否逼真、自然的关键因素,是是否能够找到对抗训练中合适的判别函数,因此AI换脸应用需要用户提供大量真实人脸照片,才能找到合适的判别函数保证图片精美度。
技术应用
娱乐产业
AI换脸技术在娱乐产业中有着广泛的应用。 例如,可以将明星的脸替换成动画角色的脸,创造出全新的动画角色;也可以将一个人的脸部替换成另一个人的脸部,制作出具有创意的短片或电影。
社交媒体
在社交媒体上,AI换脸技术可以帮助用户将自己的脸部替换成其他人的脸部,创造出有趣的照片或视频。此外,这项技术还可以用于虚拟现实和增强现实中的面部跟踪和识别。
艺术创作
AI换脸技术为艺术家、设计师和创作者提供了更多的创作可能性。他们可以利用此技术来探索面部特征与艺术表达之间的关系,创造独特的艺术作品。
科研教育
AI换脸技术可以用于人脸重建,帮助研究人员理解人脸的结构和形态变化,以及在人类认知和行为领域中进行实验和模拟。
法律法规
生成式人工智能服务管理暂行办法
第一章 总 则
第一条 为了促进生成式人工智能健康发展和规范应用,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法》等法律、行政法规,制定本办法。
第二条 利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务(以下称生成式人工智能服务),适用本办法。
国家对利用生成式人工智能服务从事新闻出版、影视制作、文艺创作等活动另有规定的,从其规定。
行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用生成式人工智能技术,未向境内公众提供生成式人工智能服务的,不适用本办法的规定。
第三条 国家坚持发展和安全并重、促进创新和依法治理相结合的原则,采取有效措施鼓励生成式人工智能创新发展,对生成式人工智能服务实行包容审慎和分类分级监管。
第四条 提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,遵守以下规定:
(一)坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益、损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容;
(二)在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视;
(三)尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势,实施垄断和不正当竞争行为;
(四)尊重他人合法权益,不得危害他人身心健康,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益;
(五)基于服务类型特点,采取有效措施,提升生成式人工智能服务的透明度,提高生成内容的准确性和可靠性。
第二章 技术发展与治理
第五条 鼓励生成式人工智能技术在各行业、各领域的创新应用,生成积极健康、向上向善的优质内容,探索优化应用场景,构建应用生态体系。
支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。
第六条 鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新,平等互利开展国际交流与合作,参与生成式人工智能相关国际规则制定。
推动生成式人工智能基础设施和公共训练数据资源平台建设。促进算力资源协同共享,提升算力资源利用效能。推动公共数据分类分级有序开放,扩展高质量的公共训练数据资源。鼓励采用安全可信的芯片、软件、工具、算力和数据资源。
第七条 生成式人工智能服务提供者(以下称提供者)应当依法开展预训练、优化训练等训练数据处理活动,遵守以下规定:
(一)使用具有合法来源的数据和基础模型;
(二)涉及知识产权的,不得侵害他人依法享有的知识产权;
(三)涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;
(四)采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性;
(五)《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。
第八条 在生成式人工智能技术研发过程中进行数据标注的,提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则;开展数据标注质量评估,抽样核验标注内容的准确性;对标注人员进行必要培训,提升尊法守法意识,监督指导标注人员规范开展标注工作。
第三章 服务规范
第九条 提供者应当依法承担网络信息内容生产者责任,履行网络信息安全义务。涉及个人信息的,依法承担个人信息处理者责任,履行个人信息保护义务。
提供者应当与注册其服务的生成式人工智能服务使用者(以下称使用者)签订服务协议,明确双方权利义务。
第十条 提供者应当明确并公开其服务的适用人群、场合、用途,指导使用者科学理性认识和依法使用生成式人工智能技术,采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。
第十一条 提供者对使用者的输入信息和使用记录应当依法履行保护义务,不得收集非必要个人信息,不得非法留存能够识别使用者身份的输入信息和使用记录,不得非法向他人提供使用者的输入信息和使用记录。
提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。
第十二条 提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。
第十三条 提供者应当在其服务过程中,提供安全、稳定、持续的服务,保障用户正常使用。
第十四条 提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,采取模型优化训练等措施进行整改,并向有关主管部门报告。
提供者发现使用者利用生成式人工智能服务从事违法活动的,应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施,保存有关记录,并向有关主管部门报告。
第十五条 提供者应当建立健全投诉、举报机制,设置便捷的投诉、举报入口,公布处理流程和反馈时限,及时受理、处理公众投诉举报并反馈处理结果。
第四章 监督检查和法律责任
第十六条 网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门,依据各自职责依法加强对生成式人工智能服务的管理。
国家有关主管部门针对生成式人工智能技术特点及其在有关行业和领域的服务应用,完善与创新发展相适应的科学监管方式,制定相应的分类分级监管规则或者指引。
第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
第十八条 使用者发现生成式人工智能服务不符合法律、行政法规和本办法规定的,有权向有关主管部门投诉、举报。
第十九条 有关主管部门依据职责对生成式人工智能服务开展监督检查,提供者应当依法予以配合,按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明,并提供必要的技术、数据等支持和协助。
参与生成式人工智能服务安全评估和监督检查的相关机构和人员对在履行职责中知悉的国家秘密、商业秘密、个人隐私和个人信息应当依法予以保密,不得泄露或者非法向他人提供。
第二十条 对来源于中华人民共和国境外向境内提供生成式人工智能服务不符合法律、行政法规和本办法规定的,国家网信部门应当通知有关机构采取技术措施和其他必要措施予以处置。
第二十一条 提供者违反本办法规定的,由有关主管部门依照《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法》等法律、行政法规的规定予以处罚;法律、行政法规没有规定的,由有关主管部门依据职责予以警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。
构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任。
第五章 附 则
第二十二条 本办法下列用语的含义是:
(一)生成式人工智能技术,是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。
(二)生成式人工智能服务提供者,是指利用生成式人工智能技术提供生成式人工智能服务(包括通过提供可编程接口等方式提供生成式人工智能服务)的组织、个人。
(三)生成式人工智能服务使用者,是指使用生成式人工智能服务生成内容的组织、个人。
第二十三条 法律、行政法规规定提供生成式人工智能服务应当取得相关行政许可的,提供者应当依法取得许可。
外商投资生成式人工智能服务,应当符合外商投资相关法律、行政法规的规定。
第二十四条 本办法自2023年8月15日起施行。
技术影响
综述
AI技术发展迅速,Sora已能够做到根据文本来生成一段逼真的视频,画面细节和质量可以达到电影级。新技术是一把双刃剑,AI换脸技术带来了许多创新和便利,但也存在一系列风险和挑战。利用像Sora这类软件制作视频来进行诈骗,是很难被人眼识别。对于诈骗事件可在技术手段上进行防范,首先需要进一步加强公民个人信息保护,尤其是加强对生物特征等隐私信息的技术、司法保护力度。让AI深度伪造技术的服务平台、公司推行隐形水印机制,通过在视频、音频和图像中嵌入不可见的水印保护信息,以快速识别AI合成内容并进行溯源,各个社交平台也应以技术手段加强对于疑似AI生成图、文、视频内容的识别功能。除了技术解决方法外,相关的法律法规也应逐步健全,要进一步完善人工智能等领域相关法律。只有通过技术和法律等手段,规避人工智能技术带来的风险隐患,使之健康有序发展。
正面影响
在艺术创作和表达上,AI换脸技术为艺术家、设计师和创作者提供了更多的创作可能性。他们可以利用此技术来探索面部特征与艺术表达之间的关系,创造独特的艺术作品。在科学研究和教育上,AI换脸技术可以用于人脸重建,帮助研究人员理解人脸的结构和形态变化,以及在人类认知和行为领域中进行实验和模拟。
负面影响
AI换脸技术有可能被用于制造虚假的视频或图片,用于欺诈、诈骗或恶意攻击。黑客或不良分子可以制作虚假的内容,导致社会信任危机和负面影响;利用“AI换脸”“AI换声”等虚假音视频,进行诈骗、诽谤的违法的行为已屡见不鲜。换脸技术可能侵犯个人肖像权、隐私权。未经允许使用他人的面部数据进行替换,可能引发隐私泄露和滥用问题。
相关事件
2023年4月,郭先生的朋友突然打来微信视频电话,说自己在外地投标,需要430万的保证金,想借郭先生公司的账户走一下账。这位“朋友”随即将钱打到了郭先生的账户上,并且截图让郭先生确认。虽然还未等来银行的通知信息,但郭先生还是先把钱转了过去。结果,跟他视频的,是用AI换了脸的骗子,佯装成郭先生的朋友来骗钱。2023年5月24日,中国互联网协会公众号发文提示“AI换脸”新骗局。
2023年10月,一诈骗团伙被提起公诉,因其假冒演员“靳东”获取受害人信任,再以投资、公益、恋爱等各种理由索要钱款,共诈骗多名被害人共计人民币30余万元。上海市静安区人民法院于2024年2月3日作出一审判决,判处涉案8名被告有期徒刑3年到拘役4个月不等的刑罚。这类假冒名人诈骗,主要通过发布和使用靠AI换脸、换声等手段处理过的名人照片、视频和变声音频,让粉丝误以为是名人本人,使用统一的话术进行诱导,打感情牌,最后再以各种理由索要钱款,其诈骗目标主要是中老年女性。
2024年,跨国公司香港分公司职员,收到英国总部要求进行视频会议,视频中对方都显示了与以往相同的容貌,职员根据会议指令前后转账了15次,共计2亿港元,而后经核实才知道被骗。诈骗者通过此公司的YouTube视频和从其他公开渠道收集公司高管的音视频资料,再利用Deepfake(深度伪造)进行视频生成,形成多人视频会议的画面结果。同月,辽宁沈阳的孙先生在社交平台发布一条视频,记录自己为宽慰奶奶,用AI换脸技术“复活”已故父亲的经历,引发热议。
2024年3月15日,央视3·15晚会曝光了多起利用AI技术换脸、变声实施诈骗的案例,再次引发人们对AI应用的关注。央视3·15晚会后,在淘宝上以“AI换脸”“AI直播”等关键词搜索,已经搜不到任何内容。但是,仍然可以搜索到AI拟声相关产品服务在售。
注释
展开[a]OpenAI发布的人工智能文生视频大模型