人工智能
四天之内,无人机让 Yandex 三座数据中心停机。它仅有的三个云可用区,有两个一同沉了下去
Yandex 表示,周日凌晨的无人机袭击令其弗拉基米尔数据中心完全停止运行,这是四天内第三个瘫痪的站点。Yandex Cloud 三个可用区中有两个不可用,平台转入紧急运行状态,公司要求客户改用放在 Yandex 之外的灾备方案。
MAI
周日早上,Yandex 让自己的客户改用放在 Yandex 以外地方的灾备方案。这条发布在公司自有云状态页上的提示,最清楚地衡量出四天的无人机袭击对俄罗斯最大科技公司造成了什么:云平台已经无法承诺其中的任何东西还能继续运行。
直接起因是 10 月 11 日凌晨对弗拉基米尔市郊能源工人区(Energetik)Yandex 数据中心的袭击。Yandex 称设施受损,该站点运行"完全停止",无人受伤。路透社称,这是几天之内第三座被打瘫的 Yandex 主要数据中心。
四天,三座站点
| 日期 | 站点 | 已报道的影响 |
|---|---|---|
| 10 月 8 日 | 梁赞州萨索沃 — Yandex 最大的数据中心 | 大火后全面停机。该公司用于开发其 AI 模型的三台超级计算机中,有两台放在这里 |
| 10 月 9 日 | 卡卢加州 | 部分瘫痪;Yandex 确认多个硬件模块停止工作 |
| 10 月 11 日 | 弗拉基米尔能源工人区 | 完全停机。该站点容量约 50 MW,设计可容纳最多 2,880 个服务器机柜 |
路透社将萨索沃和卡卢加的袭击归于乌克兰无人机。至于弗拉基米尔,Yandex 只说这是一次无人机袭击;最早的消息来自 Telegram 频道 ASTRA 和 Crimean Wind,当时公司尚未确认停机,乌克兰的责任并未得到官方确认。俄罗斯国防部声称一夜之间在 16 个地区拦截了 479 架无人机——与大多数此类说法一样,这个数字未经核实。
Yandex 运营五座大型数据中心,其中三座现已被击中。公司已从自家地图产品中删除俄罗斯四个地区数据中心的位置,其股价本周早些时候在莫斯科交易所下跌约 4%。
平台转入紧急运行
云这一侧的时间线值得细读,因为工程上的教训就在那里。莫斯科时间约 4 点,Yandex Cloud 的一个可用区记录到电力中断。随后,平台三个可用区中的两个——ru-central1-a 和 ru-central1-b——变为不可用,Yandex Cloud 进入其所称的紧急运行状态。公司称剩余的资源配置不稳定,提醒客户支持渠道可能无法联系、状态页更新存在延迟,并建议客户改用放在外部站点的替代恢复方案。
超过 80 项 Yandex Cloud 服务受到影响,涵盖计算、网络、存储、包含 PostgreSQL 与 ClickHouse 的托管数据库、Managed Kubernetes、开发者与业务工具,以及 AI 层——其中包括 YandexGPT API、SpeechKit 和 Vision OCR。消费端,语音助手 Alice、Yandex Music、Telemost 和 Yandex Smart Home 停摆。Kyiv Post 的报道称,连带影响波及银行应用、网约车平台以及零售商 Magnit 与 Fix Price。
多可用区冗余回答的是没人在问的问题
可用区的存在是为了吸收一栋楼范围内的故障:一台变压器、一条冷却回路、一次光纤断裂、一场火灾。它们的设计建立在故障彼此独立的前提上。沿着站点清单逐个清除的无人机行动,直接击碎了这个前提,因为其相关性不是技术性的,而是地理和政治性的。在同一个国家内相隔几百公里布置的可用区,在硬件上是独立的,在"处于射程之内"这一点上则完全彼此依赖。
弗拉基米尔的袭击还展示了第二层路径。该州州长亚历山大·阿夫杰耶夫表示,袭击损坏了变电站,导致约 5,000 名居民停电;供暖、供水和约 80% 的电力在周日早晨前恢复。数据中心不需要被摧毁才会停止计算,只需要失去电网——而电网比建筑物更软,也大得多。
训练算力无法故障转移
推理容量在原理上可以在别处重建:它有副本,部分无状态,钱够就能替换。训练集群不是这样。它们是紧耦合硬件的一次性安装,建在一个机房里,互连只在短距离上有效。路透社报道,Yandex 用于开发其 AI 模型的三台超级计算机中,有两台位于萨索沃——10 月 8 日最先被击中的站点。这件事没有可用区可言。那些机器当时在训练什么,随着建筑停摆一并停止。
这正是行业自身的词汇所掩盖的那部分 AI 基础设施。能力常被讨论成寄居于权重和研究团队之中。实际上,它寄居在数得过来的几栋楼里,而这个数字比大多数人以为的更小。
这笔账是双向的:俄罗斯的袭击同样让乌克兰的设施停摆——Omega Telecom 位于基辅的数据中心在遭袭后停止运行,同城的 dline.ua 数据中心被摧毁。教训与任何一方的能力无关。它是说,算力已经成为最普通意义上的基础设施:一项物理的、搬不走的、可被标在地图上并带有电力引入的资产,因而也是一个目标。所有云服务商的韧性文档都是针对硬件故障写的,没有一份是针对这种情况写的。
Sources: Reuters, via Central Oregon Daily · The Moscow Times · RBC Ukraine · Kyiv Post · iXBT, citing status.yandex.cloud · Ukrainska Pravda