第四届科技精英赛（ATEC2023） （中国电子学会主办的赛事）

简介

ATEC2023主题为“大模型应用与安全”。共有1901支报名队伍，3000余位选手参赛。ATEC2023以大模型为技术基座，围绕“科技助老”命题。依托大模型技术，在支付宝智能助手等真实业务场景中，极限破解老年人异地就医所遇到的一系列现实问题。ATEC2023由清华大学和蚂蚁集团共同命题。ATEC2023分为报名、线上赛、答辩和线下赛4个环节，赛题的全程解读及代码展示，在中国首档程序员科技节目《燃烧吧！天才程序员4》中播出。在奖项设置方面，线下赛的冠军可获得100万元奖金。ATEC2023旨在挖掘与选拔相关领域内的卓越人才，意在构筑中国人工智能及网络安全发展的先发优势，推动人工智能及网络安全领域人才培养。

2024年4月21日，ATEC2023线下赛结束，来自东南大学、哈尔滨工业大学、华中科技大学的4名选手获得冠军。

赛程安排

参赛规模

第四届ATEC科技精英赛共有1901支队伍报名，3000余位选手参赛。

赛事规则

第四届ATEC科技精英赛由清华大学与蚂蚁集团共同命题，从1901支报名队伍3000余位选手中选取16位选手。线下赛采用48小时极限挑战的形式，选手们组队在48小时内，需要吃住在赛场。

赛事内容

第四届ATEC科技精英赛以大模型为技术基座，围绕“科技助老”命题。依托大模型技术，在支付宝智能助手等真实业务场景中，极限破解老年人异地就医所遇到的一系列现实问题。

此次竞赛的核心挑战，是解决工业真实场景中，大模型训练过程及落地应用亟需解决的三个核心问题：可用性、安全性、高效能。赛题围绕这三个核心问题来出题，考验选手们的破解思路和能力，比如让模型学会检索文档并总结文档内容做出精确回答、让模型学会收集用户需求并调用工具解决实际问题；在模型推理阶段，掌握好模型效果和推理速度的平衡，以让模型能为生产之用；在追求模型效果和迭代效率的同时，也追求模型线上推理速度，以让计算成本可控。

线上赛

赛道一：大模型的知识引入

该赛题将考察选手如何在给定基座大模型和待引入到大模型中的知识语料中，设计引入方式，提升引入知识后的大模型在评测数据集上的表现。以老年人在支付宝中常用的服务类场景（如出行、办事等）为切入点，探索借助知识引入的大模型，如何在耗能少效率高的基础上为老年人提供更便捷的服务。除了准确率外，引入知识后的大模型还需要特别关注安全性和真实性，对于一些容易造成安全或隐私诱导的输入，模型应当具备一定的拒识能力，对于引入的知识语料中不包含的知识，模型应避免胡编乱造。如果根据所有的内容都无法得出明确的结论，请回复“对不起，根据参考资料无法回答。”

基座大模型为标准Huggingface Transformer结构，选手可自行调整其权重。评测数据集为领域问答的形式，数据不公开，选手最终需要提交一个Huggingface格式的模型文件和解码相关参数，并按照要求制作最终提交的镜像，系统将会运行选手镜像对测试集预测并打分。

时间安排

数据说明

一是训练阶段将提供文档用于知识引入及问答效果测试。

二是该赛道所有相关数据（包括但不限于训练数据集）不得以任何形式下载，仅限在主办方提供的本地服务器及含GPU的公有池服务器上、以比赛为目的使用，选手操作全程审计，违者将被视作“获取未授权数据”，将依照大赛规则，作禁赛处理。同时，本赛道允许选手基于给定的数据集进行数据增强，但禁止选手使用额外数据集，违反将做成绩作废处理。

评分规则

评分采用测试榜（A榜）+终榜（B榜）形式。最终该赛道的名次与奖励评定，以终榜数据集成绩为依据。比赛期间排行榜显示A榜成绩排名，每支赛队每日上限可以提交预测任务10次，期间当有2次成功得到分数，则剩余预测任务提交次数作废，不可再次提交。

2024年1月25日10：00终榜（B榜）开放提交，上限允许提交3次，后台将选取终榜（B榜）分数最高的一次提交结果作为线上赛结果的排名依据。

赛道二：大模型的工具学习

该赛题需要通过大模型来理解用户Query，并利用外部API的结果与用户进行多轮交互，最终帮助用户完成某个具体的任务。每个API的功能和所需要的参数都预先提供，大模型需要根据当前对话状态，选择合适的API，并提取对应的参数或进行反问。

时间安排

数据说明

一是该赛道数据集包含训练集和测试集。数据来自于用户和Agent之间的对话（符合数据安全规范），包含对话内容、API列表和对应输出的Action和Service Call。除此之外还会提供全场景API列表和参数的说明文档。

二是该赛道所有相关数据（包括但不限于训练数据集）不得以任何形式下载，仅限在主办方提供的本地服务器及含GPU的公有池服务器上、以比赛为目的使用，选手操作全程审计，违者将被视作“获取未授权数据”，将依照大赛规则，作禁赛处理。同时，本赛道允许选手基于给定的数据集进行数据增强，但禁止选手使用额外数据集，违反将做成绩作废处理。

评分规则

评分采用测试榜（A榜）+终榜（B榜）形式。最终该赛道的名次与奖励评定，以终榜数据集成绩为依据。比赛期间排行榜显示A榜成绩排名，每支赛队每日上限可以提交预测任务10次，期间当有2次成功得到分数，则剩余预测任务提交次数作废，不可再次提交。

2024年1月25日10：00终榜（B榜）开放提交，上限允许提交3次，后台将选取终榜（B榜）分数最高的一次提交结果作为线上赛结果的排名依据。

赛道三：：AI生成新闻检测

大模型已经能模仿人类生成通顺流利的文本，但大模型和人类在组织内容的方式上仍存在一定的差异。大模型基于庞大的语料库进行学习，能够很好地模仿其学习过的语言组织方式。然而，人类表达更加灵活，且更具创造性。这导致大模型和人类撰写的文本内容，在词汇选择、写作风格、逻辑组织等多个方面具有一定的差异。因此，准确捕捉上述特点是区分AI生成新闻与人类撰写新闻的关键之一。此外，由于大模型存在较大的幻觉问题，导致AI生成新闻的事实性难以得到保证，因此，AI生成内容的真实性也是辅助检测工作的另一关键。现阶段，已有大量的开闭源大模型可供使用，不同的大模型生成的内容特点可能存在差异性。此外，在同一模型上，基于不同提示语生成的文本也可能会存在不同的特点。因此选手需要考虑检测模型的泛化能力，例如可以开展数据增强来模拟构建更多的AI生成新闻以辅助训练。

时间安排

数据说明

一是数据集涵盖了两部分，一部分是人类撰写的新闻内容；另一部分是由大模型伪造的新闻内容。

二是该赛道所有相关数据（包括但不限于训练数据集）不得以任何形式下载，仅限在主办方提供的本地服务器及含GPU的公有池服务器上、以比赛为目的使用，选手操作全程审计，违者将被视作“获取未授权数据”，将依照大赛规则，作禁赛处理。同时，本赛道允许选手基于给定的数据集进行数据增强，但禁止选手使用额外数据集，违反将做成绩作废处理。

评分规则

选手提供的模型需要能够准确判断输入新闻内容是由人类创作还是大模型生成。评分采用测试榜（A榜）+终榜（B榜）形式。最终该赛道的名次与奖励评定，以终榜数据集成绩为依据。比赛期间排行榜显示A榜成绩排名，每支赛队每日上限可以提交预测任务10次，期间当有2次成功得到分数，则剩余预测任务提交次数作废，不可再次提交。

2024年1月25日10：00终榜（B榜）开放提交，上限允许提交3次，后台将选取终榜（B榜）分数最高的一次提交结果作为线上赛结果的排名依据。

赛道四：网络安全大模型

该赛题需要选手保证大模型在恶意流量检测、隧道流量检测、僵尸网络检测等多种任务下的检测准确率。在安全人员输入不同任务指令和流量样本特征的情况下，正确实现流量检测任务，进行流量标签预测和文本回答。通过自定义微调大模型的流量特征，以帮助大模型实现不同任务下的流量检测能力。请注意，训练的流量数据中可能存在背景流量噪声。

时间安排

数据说明

一是数据集涵盖了网络流量检测数据，共包括恶意流量检测、隧道流量检测、僵尸网络检测等安全任务下标注的pcap格式流量数据。

二是该赛道所有相关数据（包括但不限于训练数据集）不得以任何形式下载， 仅限在主办方提供的本地服务器及含GPU的公有池服务器上、以比赛为目的使用，选手操作全程审计，违者将被视作“获取未授权数据”，将依照大赛规则，作禁赛处理。同时，本赛道允许选手基于给定的数据集进行数据增强，但禁止选手使用额外数据集，违反将做成绩作废处理。

评分规则

选手需要保证网络安全大模型在流量检测任务时的回答准确性。评分采用测试榜（A榜）+终榜（B榜）形式。最终该赛道的名次与奖励评定，以终榜数据集成绩为依据。比赛期间排行榜显示A榜成绩排名，每支赛队每日上限可以提交预测任务10次，期间当有2次成功得到分数，则剩余预测任务提交次数作废，不可再次提交。

2024年1月25日10：00终榜（B榜）开放提交，上限允许提交3次，后台将选取终榜（B榜）分数最高的一次提交结果作为线上赛结果的排名依据。

线下赛

线下赛赛题的考核范围与线上赛相关，但侧重于多种能⼒的综合应⽤和解题。 在遵循隐私保护的原则上，选⼿将获得更丰富的计算资源及贴近工业真实场景的数据集，围绕大模型的应用和安全主题闯关答题。

时间安排

奖项设置

评委团队

举办进程

2024年4月21日，第四届ATEC科技精英赛线下赛结束，来自东南大学、哈尔滨工业大学、华中科技大学的4名选手获得冠军。赛事赛题的全程解读及代码展示，将在中国首档程序员科技节目《燃烧吧！天才程序员4》中播出。

获奖名单

网络安全大模型赛道

AI生成新闻检测赛道

举办意义

第四届ATEC科技精英赛旨在挖掘与选拔相关领域内的卓越人才，是主要面向中国籍计算机等专业在校学生、人工智能及网络安全行业研究者和从业者的高水平智能科技挑战赛，意在贯彻落实党中央、国务院关于推动新一代人工智能发展的决策部署以及全面贯彻国家网络空间安全战略，构筑中国人工智能及网络安全发展的先发优势，推动人工智能及网络安全领域人才培养。

社会影响

ATEC科技精英赛举办以来，吸引了华为、腾讯、微软亚洲研究院等企业、清华大学、北京大学、中国科学技术大学等知名高校参赛，覆盖金融、互联网、传媒、通信、工程机械、能源、生物等多个行业。