ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Havenlon | 杂谈:过去网络安全保护数据,未来网络安全保护现实世界

Havenlon | 杂谈:过去网络安全保护数据,未来网络安全保护现实世界 凌晨三点一座城市的大多数人仍在睡觉。几公里之外的水厂里控制系统仍然在自动运行泵站根据压力变化调整流量阀门按照既定程序开启与关闭传感器把设备状态持续回传到调度中心。整个过程几乎不需要人守在现场也几乎不需要人临时干预。对大多数居民来说这些动作与互联网无关——它们属于水、管道和机械属于城市基础设施中最沉默的那一部分。但事实上它们早已被数字系统所控制。过去二十年我们习惯用损失来衡量一次网络攻击一批文件消失一份数据库外泄一组账号被盗。这些代价可以被折算成金额、合规罚款或者声誉修复所需要的时间。它们发生在数字空间里也基本被数字空间所吸收。真正的变化在于今天一条错误的数字指令可能不再只是让信息消失而是直接改变现实世界的状态。水泵停止运转阀门在不该开启的时刻开启生产线停机电网调度出现异常。2010 年被公开披露的震网Stuxnet病毒第一次让人们看到恶意代码可以损坏离心机这样的物理设备2021 年美国 Colonial Pipeline 的勒索软件事件则展示了另一条路径——攻击发生在信息系统一侧但企业出于安全考虑主动关停了输油管道现实世界的燃料供应随之中断。两件事的技术形态完全不同指向却是一致的数字世界第一次拥有了改变物理世界的能力。这也是为什么网络安全正在进入一个新的阶段。过去网络安全保护数据。未来网络安全保护现实世界。一、网络安全的保护对象正在发生变化过去几十年网络安全的核心问题其实非常明确保护信息。我们保护数据库中的用户资料保护服务器上的业务数据保护账户密码与加密密钥。整个安全产业的技术积累、投入结构和衡量标准都建立在信息是否被正确地保存、传输和访问这一前提之上。围绕这个前提安全体系逐渐收敛成几个基本问题谁可以访问谁拥有权限谁执行了操作。身份认证、权限管理、访问控制因此成为网络安全最重要的基础设施。它们回答的都是同一类问题——在一个以信息为中心的世界里如何确认边界的两侧分别站着谁。这套体系之所以长期有效是因为在那个时代绝大部分安全问题确实发生在数字空间之内。数据被窃取系统被破坏服务被中断。后果严重但后果的形态是可以被追溯、被复制、被恢复的备份可以还原密钥可以轮换账号可以重置。信息世界最大的优点就是它允许重来一次。但今天越来越多的系统已经连接现实世界。工业控制系统、智能制造、能源网络、交通系统、机器人以及未来大量由 AI 驱动的自动化设备都正在成为数字世界与现实世界之间的接口。它们不再只是记录状态而是持续地改写状态。当一个系统不仅保存信息还能够改变现实状态时安全问题的性质就发生了变化。一次错误的写入可以回滚一次错误的排放却不能一份被泄露的文件可以追责一条被误开的管路却只能承受后果。安全的对象从可恢复的记录变成了不可撤销的动作。保护的不再只是数据而是行动本身。一旦保护对象从数据转向行动一个更靠前的问题就浮现出来这些行动究竟是由谁决定的。二、真正的变化不是软件开始控制世界而是软件开始参与决定很多人认为AI 带来的最大变化是效率提升——更快的响应、更低的成本、更少的人力。这个判断没有错但它可能停留在了表层。更深层的变化是软件正在从执行者变成行动参与者。过去的软件大多数时候执行的是人提前定义好的规则。工程师告诉系统当温度超过某个范围启动冷却当密码正确允许访问当条件满足执行下一步。规则可能非常复杂分支可能非常多但它们的边界是被人一次性写死的。软件负责执行人负责决定。这条分工线构成了过去所有安全设计隐含的前提。AI 系统正在改变这种关系。未来一个 AI Agent 接收到的可能不再是一条规则而是一个目标降低能源消耗优化生产流程管理设备状态完成某项复杂任务。目标本身是抽象的通往目标的路径则由系统自己生成。它需要理解环境、拆解步骤、规划顺序、调用工具并最终触发现实中的动作。于是链路从人的决定 → 软件执行逐渐变成人的目标 → AI 推理 → 系统行动 → 现实结果。中间多出来的那一段恰恰是过去由人承担、也由人负责的部分。这并不意味着 AI 一定会犯错。相反在许多具体任务上它的判断可能比疲惫的值班工程师更稳定。真正的问题不在于错误率而在于结构当行动链越来越长当决定过程越来越复杂人对最终结果的可见性和可干预性正在被稀释。我们仍然拥有目标的设定权但未必仍然拥有结果的控制权。创造出更强能力的一方同时也在承担定义边界的责任。而边界一旦模糊传统安全体系最擅长回答的那个问题就开始显得不够用了。三、未来安全面对的问题不只是谁有权限传统安全最重要的问题是谁可以进入系统。所以我们建立身份认证、权限控制和访问边界把世界划分为可信与不可信、内部与外部、授权与未授权。这些机制解决的是谁能够做什么。在信息时代这个问题几乎等价于全部安全问题。因为只要访问被正确限制破坏就无从发生。攻击者与合法用户之间存在一道清晰的界限安全工作的本质就是维护这道界限。但在 AI 时代一个更深的问题出现了即使一个系统拥有完全合法的权限它做出的动作是否就一定应该发生答案并不必然。因为权限正确不代表判断正确身份真实不代表结果正确指令合法不代表执行安全。授权解决的是资格问题而现实世界要求的是恰当性问题——同一个动作在不同的时刻、不同的负载、不同的现场条件下后果可能完全相反。设想一个自动化系统完全按照授权运行。它没有被攻击没有绕过权限没有违反任何规则日志干净审计通过。但如果它基于对环境的错误理解做出了行动最终仍然可能造成现实损害。在这种情况下传统安全体系的所有指标都是绿色的事故却真实发生了。这正是许多组织在治理上最容易低估的一点出问题的往往不是坏人而是好人的错误判断。信任一个团队、一个供应商、一个模型与为它建立制度约束是两件不同的事。信任是对动机的判断制度是对后果的准备。动机可靠的系统依然会因为信息不完整、上下文缺失或目标被机械理解而走偏。信任无法替代制度因为制度约束的从来不是恶意而是不确定性。所以未来的安全体系不能只验证谁发出了命令还必须验证这个动作是否满足当前环境、当前状态和当前边界条件。判断的对象从主体转向了行为本身。这不是一个全新的命题。人类在面对每一种强大工具时都走过同样的路。四、文明的发展一直是在给更强大的工具增加边界人类历史上每一次技术革命都伴随着同一个问题当工具拥有更强大的能力我们如何确保它仍然服务于人的目标工业革命之后机器的力量第一次远远超过人的体力人类随之建立起生产规范——工时、工艺、检验、责任归属。电力时代一种看不见、无法徒手感知却足以致命的能量进入千家万户人类建立起电网标准、接地规范与保护装置。互联网时代信息可以在瞬间跨越国界并被无限复制人类建立起身份体系、权限模型与加密协议。值得注意的是这些边界几乎从来不是在技术出现之前设计好的而是在能力已经释放、后果已经显现之后被逐步补上的。它们也从未真正阻碍技术扩散——恰恰相反正是因为有了标准与规范电力才敢被接入住宅金融交易才敢被搬上网络。边界不是能力的对立面而是能力得以规模化的前提。技术进步从来不是因为人类拒绝更强大的工具而是因为人类不断学习如何驾驭它们。AI 时代也一样。真正的问题不是我们是否应该让 AI 自动化更多事情——这个趋势已经在成本和竞争的驱动下自行发生。真正的问题是当 AI 可以执行越来越多任务时系统是否仍然拥有清晰的边界而在自动化程度足够高的系统里边界最终会具体化为一个非常朴素的能力问题。五、未来最重要的能力可能不是允许而是拒绝在过去的软件系统中安全设计往往关注一件事如何允许正确的人做正确的事情。整个体系是开门导向的——它的成功标准是尽可能减少不必要的阻碍同时不放进不该进来的人。但面对高度自动化的系统一个更重要的问题正在出现系统是否拥有拒绝错误行动的能力因为真正危险的情况很多时候并不是未经授权的操作而是一次合法授权下的错误执行。账号可能是真的指令可能是真的模型可能也在正常工作链路上的每一个环节都通过了校验但最终结果仍然可能是错的。此时所有基于身份的防线都不会触发因为它们从设计之初就不是为了拦截合法而不当的行为。于是问题回到了监督本身如果执行者具备判断能力那么谁来监督这个判断如果监督由另一套自动化系统承担那么谁又来监督监督者这条追问不可能靠增加层级来终结——每增加一层只是把同样的问题向后推了一步。它只能靠一个结构性的答案来收束在链条的末端必须存在一个不参与目标优化、只负责判断动作是否越界的独立环节并且它拥有让动作停止的实际权力。因此未来安全体系需要的不只是更多授权而是更多独立判断。一个成熟的系统不应该只有执行能力还必须拥有拒绝能力。这种能力的价值不在于它被使用的频率——理想状态下它几乎不会被触发——而在于它的存在改变了整个系统的风险结构。因为没有拒绝能力的自动化只是在更快地放大错误。这也意味着AI 治理的重心正在移动从监督模型走向监督执行。六、AI 时代网络安全的终点正在改变过去几十年网络安全主要回答一个问题如何保护数字资产未来它需要回答另一个问题如何保护现实世界不被错误的数字决定改变这是一条新的安全边界。从数据安全到现实安全从访问控制到执行控制从谁拥有权限到谁拥有让事情真正发生的最终权力。值得强调的是这条边界不会削弱智能系统的价值。未来的智能系统不会因为我们限制它而失去价值恰恰相反越强大的系统越需要清晰的边界。一辆没有刹车的车不会因此跑得更远它只是不能被允许上路。约束不是能力的税而是能力被信任、被部署、被交付到关键场景中的通行证。同样值得强调的是治理的对象也在发生变化。我们最终要治理的不是某一个人、某一家公司或某一个模型——把安全寄托在某个值得信任的人身上本身就是一种脆弱的架构。真正需要被约束的是那种不受制约地把判断直接变成现实的权力无论它掌握在谁手里。从可信的人走向可信的结构。因为真正可信的系统不是永远不会犯错而是在错误发生之前拥有阻止错误扩散的能力。可靠性从来不等于零故障它等于故障发生时损害仍然被关在边界之内。AI 时代人类真正需要保护的不只是数据而是最后一次说不的能力。当机器开始帮助我们行动安全的终点也许不再是谁能够进入系统而是谁拥有最终决定现实是否改变的权力。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进