核工业是应用机器学习与人工智能(AI)的主要领域,其应用潜力巨大。美国核监管委员会(NRC)一直在考虑如何部署AI。

NRC在2024年发布的一份战略文件中指出,AI的飞速发展“具有巨大潜力,可能彻底改变核工业及该机构的运作模式”;其在《2023-2027财年战略规划》中提出要着重提升自身四大能力:审查评估AI应用的技术能力、持续追踪技术创新的洞察能力、确保AI应用安全可靠的监管能力,以及制定AI监管框架的预见能力。
2024年4月NRC推出专项战略,规划确立了五大目标:确保NRC具备适应AI时代的监管决策能力;建立审查AI应用的组织框架;加强并拓展AI合作伙伴关系;培养精通AI的专业人才队伍;通过应用实践为NRC全面部署AI奠定基础。
为实现上述目标,NRC正着力强化员工AI专业素养,保持对技术创新的前瞻把握,并积极与其他联邦机构及国际同行建立协同合作机制。
该战略的核心在于应用场景评估。NRC工作人员已识别出61个潜在应用场景,AI在这些场景中或可提升组织效能,或能改善机构为利益相关者提供的体验与服务。在这61个潜在场景中,有36项与现有AI工具的功能相匹配,其余场景则可通过非AI解决方案实现。
NRC表示,实施这些应用场景需要具备以下要素:完善的数据战略与管理计划、AI治理体系、支持AI发展的信息技术基础设施,以及专业的AI人才队伍。NRC下一步的实施计划包括:制定全域AI战略,推动AI技术在机构内部的深度应用;建立AI治理体系,确保AI实施过程可靠可控;完善机构数据管理;通过战略性招聘与在职培训强化AI人才储备;配置专项资源,将AI工具纳入IT基础设施体系。
NRC还需投资基础工具开发,包括与现有应用系统及文件访问管理系统(ADAMS)检索技术相融合的生成式AI服务。
监管挑战分析
美国西南研究院(SWRI)发布的《核能领域AI应用监管框架缺口评估报告》为NRC的AI计划提供了思路。
在进行AI监管缺口分析时,西南研究院主要参考了NRC监管导则,因为这些导则“通常比法规更为详尽”。分析工作首先审视了现有导则是否存在潜在缺口或与AI应用相抵触的细则,基于已发现的潜在缺口,进而核查NRC现行法规是否与AI应用存在冲突。
分析针对每个监管缺口提出三个核心问题寻求解答:AI技术是否可在监管导则框架内使用?监管导则是否具有允许使用AI的灵活性?监管导则是否为评估AI应用提供了充分依据?
分析共识别出71份存在潜在缺口的监管导则,并将其归为以下八大类。
挑战一:人工操作
监管导则中存在隐含人工操作的表述,即暗含需由操纵人员或技术人员执行操作或完成任务;而AI技术可在无人工干预情况下替代这些操作,这可能与监管导则的表述产生冲突。
挑战二:特殊计算场景
AI技术可支持特殊计算任务,特别是存在可用于机器学习的数据库。现行导则普遍缺乏对使用AI技术进行计算评估的充分指导。
挑战三:运行前与初始测试程序
涉及运行前及初始测试的监管导则要求特定系统需在运行前完成测试。若AI系统用于安全系统,则需进行包括软件故障测试和故障安全设计在内的全面测试,还需考虑特殊风险。AI系统可能需要增加运行前测试项目,以补充临界、风险、危害以及安保等方面的分析。无论用于安全或非安全系统,均需从网络安全角度进行彻底测试。
挑战四:自主运行工况下的宜居性
部分监管导则规定了确保核电厂控制室在正常与事故工况下维持宜居条件(如低辐射、清洁空气、充足氧气)的方法。若采用AI实现不同等级的自动化运行,直至完全自主运行,现行宜居性指南可能需要调整重点,侧重于关于保护设备的建议。
挑战五:定期测试、监测与报告
这与挑战一涉及的人工操作类似,但特指定期测试、监测与监督相关的人工操作。这一类别所涉及的监管导则数量最多。
挑战六:安全相关应用软件
关于安全相关应用的软件开发、控制与采购的监管导则虽适用于AI及其他软件,但仍需补充指导原则。
挑战七:辐射安全支持
使用大语言模型(LLMs)就其他AI技术辅助辐射安全专业人员即其他技术人员的传统工作,背后可能存在商业驱动力。数字顾问可追踪联邦与州法规、监测程序及建议的行动项,并编写报告。然而,监管导则隐含特定活动和任务只能由持证专业人员执行,这体现了NRC的根本要求。
挑战八:培训与人因工程
若AI系统在核电厂成功应用,操纵人员的角色可能发生转变。由此产生两点不确定性:一是,在此情况下,培训课程是否应更新以仅包含由人为操作的控制装置?二是,AI系统是否需设置特殊情况下由操纵人员接管的开关?故培训项目范围可能需根据AI系统功能进行重新评估。
总体而言,监管要求与AI技术的主要潜在冲突集中在那些明示或隐含涉及人工操作的规定,因为这些操作现在可由AI系统替代执行。但大多数监管要求并未限定具体执行主体,只是规定必须完成这些操作。
同样,法规通常未规定具体计算方法,这为AI技术应用提供了灵活性,但核反应堆堆芯紧急冷却系统建模和断裂韧性模型等特定领域除外。这些领域要求采用满足特定属性的物理模型。
西南研究院指出,与其在监管导则中直接增补AI条款,更具实操性的做法是制定能解决共性问题的新监管导则。但该机构同时强调,监管导则与软件开发标准需进行修订补充,以体现AI系统的特殊性。例如,机器学习需要海量数据,这引发了对数据充分性、质量以及是否足以代表系统各种工况和多重状态的质疑。AI技术的独特性要求关注系统化测试以及验证、确认和AI系统可信度的文档化程度。AI系统始终存在产生异常输出(有时也称为“幻觉”)的可能性。因此,系统化故障安全设计必须包含以下这些能力:对偏离训练数据的异常输入的主动识别,异常输出的主动识别,并提供缓解或纠正错误以及阻止其传播的功能。
后续行动
随着AI在商业和开源软件中的普及,亟需制定指导规范,明确如何评估基于AI技术的计算结果的可靠性,以及需要提供何种程度的辅助证明文件。AI系统的可信度本质上取决于数据质量,以及数据中是否存在可供AI系统整合的潜在规律。机器学习领域的标准方法通常要求预留部分验证数据,并确保验证集中的预测误差与训练集中的误差水平相当。需要吸纳AI从业者提出的系统性方法和数据分析建议,这些能有效提升预测结果可信度的专业经验,应当被纳入通用性指导文件中。
尽管对建立AI系统开发、部署和使用标准的呼声日益高涨,但目前尚未形成可被广泛接受或普遍适用的标准。现有标准通常涵盖伦理、安全及透明度等领域,旨在为开发者、用户和监管机构提供评估与比较AI系统性能和可信度的通用框架。但这些标准难以转化为具有实际操作意义的指导规范。
自去年战略计划发布以来,NRC持续推进其五大目标。例如在拓展AI合作伙伴关系方面,去年9月NRC与加拿大核安全委员会、英国核监管办公室联合发布了《人工智能原则》文件,阐述了核设施与核材料领域应用AI的指导原则。
未来一年,NRC计划通过多项举措推进AI工作,作为与监察机构沟通、与行业利益相关方开展对话并进一步完善监管框架的战略组成部分。NRC的年度计划包括:发布一项旨在识别并消除AI应用障碍、提升AI成熟度的战略计划;将生成式AI培训范围扩大至覆盖全体员工和承包商;以及制定生成式AI工具的使用行为规范。