虽然 AI 让战场系统变得更强大★◆★◆■■，但它带来的安全风险却没被摸透■◆。比如说★◆★★■■，研究发现深度学习模型很容易受到一些物理世界的攻击。就像有人能通过特定手段干扰模型，让它做出错误判断★■。不过★◆★，这些攻击在真正打仗的时候会造成多大影响，我们还不清楚。而且以前很多学术研究都太理想化，没有考虑到在实际中能不能实现这些攻击★★■，也没关注整个系统的运作流程。这就导致我们低估了战场系统在面对各种攻击时的脆弱程度。

　　总的来说◆■，DARPA 的 SABER 项目针对 AI 赋能战场系统的安全问题，给出了一套很有创意的解决办法★◆■■◆◆。通过组建 AI 红队、进行实战演习、制定科学的评估标准，再加上团队之间紧密合作，很有希望提高战场系统的安全性。但项目前进的路上还有技术■■◆◆◆、人才、团队协作这些 “拦路虎■■◆”，需要大家一起努力，不断创新，才能克服困难◆■。只有这样，才能为军事 AI 的安全发展打下坚实基础★■◆◆，让 AI 技术在军事领域用得更放心、更可靠。

　　下面，介绍一下美国国防部高级研究计划局推出的 “战场有效鲁棒性人工智能安全保障”（SABER）项目。

　　在这个演习场景里■■，蓝队的任务是让无人地面车辆（UGV）自己在复杂的地形里找到路★◆■★■◆，开到目标地点。他们会通过看 UGV 的平均行驶速度来判断任务完成得怎么样。

　　每次 SABER-OpX 演习要进行 9 个月■★◆★◆■，在这期间会分阶段做实验。刚开始的实验 1，会确定一个红队工作效果的基础数值。后面的实验◆■★◆◆，目标就是让 R 的值越来越大。比如实验 2，希望 R 能比 高 10%；实验 3 更严格，把 R 比提高 20% 作为重要考核指标；实验 4 的目标是让 R 比 提高 40%。通过这样一步一步地提高要求，不断改进红队的攻击方法和使用的技术◆★■◆■★，就能慢慢降低作战时的安全风险■■，让战场系统更安全。

　　另外，以后负责测试 AI 安全的团队，也面临很多困难。他们没有先进的技术和工具★◆■◆■，很难模拟出复杂的攻击情况；没有合适的场地来进行接近实战的测试；也没有操作指南告诉他们该怎么去测试。而且★■★◆■★，也没有专门的组织来管理这些测试团队◆★■★，不知道该怎么考核他们★◆★★、给他们授权，这就让 AI 安全评估工作很难顺利开展。

　　要是 SABER 项目成功了■★，那对军事 AI 的安全保障意义重大■◆★■■■。它能帮美国国防部建立一套很靠谱的 AI 安全评估体系，让战场上的 AI 系统变得更安全、更可靠，军队打仗的能力也会变强。而且，这个项目研究出来的技术和方法，还可能用在民用的 AI 安全领域，让 AI 在很多行业都能更安全地使用，推动 AI 产业健康发展。

　　这里面，P 代表红队攻击后，蓝队系统性能下降了多少，比如 UGV 速度降低了多少◆◆■■■，或者无人机任务失败率提高了多少■★■；T 是红队发动攻击■◆，看到效果所花的时间，为了方便计算，会把这个时间进行一些处理★◆；C 是发动攻击花的成本■★，包括用的资源■★◆◆、投入的技术研发等，同样也会进行处理■■■。P、T、C分别是这三个因素的 ◆■★■“重要程度★◆★◆”◆■■■★，加起来等于 1，会根据不同的作战情况进行调整。用 1 除以 R，就能大概知道作战时的安全风险有多高★■■★。R 的值越大，说明红队工作得越好，安全风险就越低。

　　美国国防部现有的网络安全测试和评估办法，在应对 AI 带来的新安全问题时■★◆◆，根本不够用◆★。在测试 AI 系统的时候■■，缺少专门模拟敌人攻击的环节★★◆，没办法全面检查 AI 系统容易被攻击的地方，像模型可能被逆向破解、数据隐私可能泄露这些风险★★★★■，都检查不出来★◆。

　　AI 红队呢，会用 PACE 技术去干扰 UGV 的 “感觉器官”◆■★◆，也就是它的感知系统。比如说■■★■◆，在物理层面★◆■★，他们可能会挡住 UGV 的传感器，让它 ■★◆★“看” 不清路，或者干扰它接收卫星信号■★；在对抗性 AI 方面，他们会想办法修改 UGV 收到的数据，让它认错自己的位置，或者把周围的东西认错。最后，红队会通过 UGV 平均速度有没有降低，来看看自己的干扰有没有效果，也能知道 UGV 在面对这些攻击时的安全底线.SABER-OpX #2◆◆★★■：AI 赋能自主无人机（旋翼）

　　项目采用了一种叫实验设计（DOE）的方法，全面地考虑很多方面的因素来评估 AI 系统■■★。这些因素包括观察的角度（是在地面上看★★■，还是从空中看）、光线条件（是自然光■★★■★，还是有额外的照明）、传感器的类型（像光学■★◆★■■、热成像、GPS 等）◆◆★★◆◆、运动方式（是在平面上受限的运动，还是在空间里自由的运动）◆■★，还有攻击的方式（是按照固定路线攻击◆■★■★，还是从各个方向突然攻击）。通过把这些因素组合起来研究，就能保证总结出来的攻击方法和策略，在各种各样的战场系统里都能派上用场。

　　蓝队在这个演习里，要开发出一种很厉害的无人机系统★■★，就算遇到电子战干扰，也能完成侦察和攻击任务。他们会根据无人机完成任务的成功率来评价系统好不好。AI 红队会想各种办法破坏无人机的自主能力◆★■■。比如，他们会给无人机发送假的图像或者位置信息，干扰它的 “判断★■■★◆◆”；或者干扰无人机和基地之间的通信，让它没办法正常接收指令。红队会通过无人机任务失败的概率★■◆，来看自己的干扰有没有达到目的◆◆★■◆，同时也能帮蓝队找到无人机系统容易被攻击的地方，让它变得更安全。

　　SABER 项目里有一系列很重要的演习，叫 SABER-OpX◆★■■。这些演习会模拟真实的战场环境，反复测试已经做好的 AI 赋能系统。在演习过程中，他们要制定出一套标准的 AI 红队工作流程◆★★◆◆；看看不同的 AI 技术在各种战场系统里好不好用；重点研究怎么通过 AI、网络和电子战这些手段去攻击敌人，达到作战目的；总结出实用的攻击方法和策略；不断把新的技术和工具加入到红队的工作中；准确算出已经用在战场上的 AI 系统到底有多安全；还要搞清楚影响红队工作效果的各种因素，让红队在作战时发挥更大作用。

　　SABER 项目的主要目标，就是打造一支特别厉害的 AI 红队■★■◆。这个红队要能不断学习和使用新的反 AI 技术和工具◆◆★★，建立一套长期有效的工作方法◆■◆★，用来评估 AI 赋能的战场系统安不安全。他们会用很厉害的 PACE（物理 + 对抗性 AI + 网络 + 电子战）技术和工具，找到新的攻击方法和策略，仔细检查战场系统有没有漏洞，把作战时的安全风险降到最低◆★■。

　　SABER 项目有三个主要团队，分别是红队（TT1）、蓝队（TT2）和政府团队（TT3）。红队的工作很复杂，他们要到处找各种能用的技术和工具，看看哪些好用，然后把它们整合起来，用来模拟敌人攻击蓝队的系统，找到系统的漏洞。同时，他们还要时刻关注新出现的反 AI 技术和工具，及时把有用的加入到自己的 “武器库” 里。

　　在实际操作中■★◆，因为没有专业的团队来模拟敌人攻击这些 AI 系统，很多会影响作战效果的漏洞都没被发现。就拿无人机和自动炮塔来说■◆■■■，它们的 AI 系统要是被人故意干扰数据★◆★，或者输入一些会误导它的信息，就可能会认错目标★★◆■★◆，做出错误的攻击决策。但在把这些装备用到战场上之前★★★，却没有好好检查这些问题◆■◆★，这对作战安全是很大的威胁■◆◆◆。

　　现今，人工智能（AI）在军事领域的应用越来越广泛。像无人机◆◆◆■◆■、自主炮塔这类 AI 赋能的战场系统，它们能让作战决策变得又快又准，给军队带来很大的优势。但与此同时◆★◆★，这些系统也藏着不少安全隐患★◆■■★★。美国国防部高级研究计划局（DARPA）推出的 “战场有效鲁棒性人工智能安全保障★◆◆■■”（SABER）项目，就是专门来解决这些问题的★◆★■■◆。这个项目对保障军事 AI 的安全使用非常重要■■◆★◆★，下面我们就来详细了解一下◆◆★◆★■。

　　在项目进行的过程中，这三个团队配合得很紧密。蓝队提供测试用的系统，红队用政府团队开发的技术和工具去攻击测试，然后把测试结果反馈给另外两个团队。政府团队根据红队反馈的问题，改进技术和工具，优化攻击方法。就像红队发现某个工具不好用◆◆◆★★，告诉政府团队■◆◆■，政府团队就会想办法改进；蓝队根据红队测试找到的漏洞，去优化自己的系统，让它更安全。大家这样相互配合，一起推动项目向前发展◆■◆■。