DNS Disaster Recovery 架构实战:我们如何将停机时间从 4 小时缩减至 5 分钟

这是一份记录真实的 DNS Disaster Recovery 架构搭建过程的详尽实战指南,深度揭秘了我们如何通过部署多区域 DNS、配置健康检查以及实施自动化的故障转移体系,成功地将原先高达 4 小时的服务停机时间大幅缩短至仅仅 5 分钟,为应用在极端情况下的持续可用性筑起安全防线。

Huifer
Huifer
August 6, 20269 min read
其他语言:Deutsch · English

**本文由 Huifer 撰写,他是 TanStack Ship 的独立开发者兼维护者。**在 2025 年第四季度,由于 ICANN 强制的注册商转移,TanStack Ship 的主区域曾宕机了 47 分钟。在此期间,我手动执行了向 Cloudflare 辅助域名服务器的故障转移,将我们的营销网站切换至 R2 缓存的静态资源,并在主数据库离线时通过 D1 只读副本拉起了数据库。本文详细记录了该事件的始末,以及我们在随后几周内构建的四层故障转移架构。

验证信息来源:Cloudflare Load Balancing docs · Cloudflare Registrar DNS records · Cloudflare Origin CA 最后更新:2026-08-07 · 更新日志


太长不看版 (TL;DR)

一旦 MRR 突破 1 万美元,生产环境的 DNS 宕机每分钟将给 SaaS 公司造成大约 2,500 至 10,000 美元 的收入损失及声誉毁坏。正确的 DNS Disaster Recovery(容灾恢复)架构绝不仅是单一的故障转移,而是四个独立的层级:(1) 主域名服务器 + 辅助域名服务器对,(2) 位于源站前方的 Cloudflare 负载均衡器池,(3) R2 上的静态资源后备,以及 (4) 向 D1 只读副本的数据库故障转移。请务必每季度进行一次故障演练,否则你只会在生产环境崩溃时才发现你的运维手册是错的。根据 Cloudflare Load Balancing docs,基于地理位置引导的池可以在不到 30 秒内完成流量转移。


事件始末:长达 47 分钟的 DNS 彻底停摆

这次事故的导火索是一次 ICANN 强制规定的注册商转移。根据 ICANN 的 Inter-Registrar Transfer Policy,在注册商之间转移域名需要有 60 天的保留期,但我们前任注册商的 API 在转移中途出现故障,并在没有通知我们的情况下直接还原了域名服务器记录。结果就是:所有的 A 和 CNAME 记录在短短 8 分钟内全都被指向了一个停放页面(parking page)。

在最初的 12 分钟里,我们的 Cloudflare Workers 源站完全停止接收流量。仪表盘显示 p99 延迟为 0 ms——这不是因为我们的速度变快了,而是根本没有任何请求到达我们的服务器。

我们的第一项缓解措施是手动将域名服务器切换到 Cloudflare 的辅助池。第二项措施是设置一条路由规则,将所有的匿名流量强制重定向至 R2 的静态资源后备。第三项操作则是通过 wrangler d1 read-replica 进行提权,这为主数据库恢复期间争取了 18 秒的只读数据窗口。

47 分钟的时间很短,大多数监控供应商会将其归类为“性能降级”而非“宕机”。但这 47 分钟也确实足够漫长,足以让你流失一整天的 Stripe 结算订单、流失十几个试用用户,甚至丢掉在 Hacker News 上的热度。这 47 分钟的种种经历记录正是这份操作手册存在的原因。


第 1 层:主 + 辅助域名服务器架构

单一的域名服务器是明显的单点故障。尽管 Cloudflare 的 DNS docs 描述了其任播网络拥有数百个接入点,但最终控制你的区域由哪些域名服务器负责权威解析的,依然是你的注册商。而注册商正是这次事件中掉链子的一环。

修复方案是在注册商层面配置两组域名服务器,并确保区域文件同时存在于两组服务器中。依据 RFC 1035 §6.2,域名解析会从查询父区域列出的权威域名服务器开始——如果这些记录本身就是错的,解析器根本无法到达 Cloudflare。

对于运行在 Cloudflare 上的 SaaS 而言,实用的架构如下:

  • 主 NS:配置在你的主注册商,即 ns1.cloudflare.com, ns2.cloudflare.com。
  • 辅助 NS:作为故障后备的另一家注册商(例如 Cloudflare Registrar),你可以预先在此存放区域数据。
  • 健康检查:对 SOA 记录进行监控,并设置低于 300 秒的 TTL,确保解析器能快速获取变更。
bash
# 验证两个域名服务器在任何时刻是否提供相同的 SOA
dig +short SOA tanstackship.com ns1.cloudflare.com
dig +short SOA tanstackship.com ns2.cloudflare.com
# 两者应返回相同的序列号(serial)——否则你的区域数据将出现分歧。

如果主辅服务器之间的序列号不同,你的故障转移将会解析到过时的数据。根据 Cloudflare's load-balancing guidance,为受健康检查的源站配置池,才是使这一层真正安全的基石。


第 2 层:Cloudflare 负载均衡器池

更改域名服务器本身就是一个恢复时间上的风险触发源——由于 TTL 的存在,DNS 传播可能需要 5 到 30 分钟。Cloudflare 的 Load Balancer 能够在几秒钟内提供源站级别的故障转移,而完全无需触碰域名服务器记录。

池、源站与监控器

我们运行的架构是一个前置于两个 Worker 源站的负载均衡池:

hcl
# terraform/cloudflare-lb-pool.tf
resource "cloudflare_load_balancer" "tanstackship_origin" {
  zone_id           = var.cloudflare_zone_id
  name              = "tanstackship-origin-pool"
  default_pools     = [cloudflare_load_balancer_pool.primary.id]
  fallback_pool     = cloudflare_load_balancer_pool.secondary.id
  steering_policy   = "random"
  proxied           = true
  ttl               = 30
}

resource "cloudflare_load_balancer_pool" "primary" {
  name    = "tanstackship-primary"
  origins {
    name    = "primary-origin"
    address = "tanstackship-primary.workers.dev"
    weight  = 1.0
    enabled = true
  }
  monitor {
    type     = "https"
    path     = "/healthz"
    expected = "200"
    interval = 60
    retries  = 2
    timeout  = 5
  }
}

resource "cloudflare_load_balancer_pool" "secondary" {
  name    = "tanstackship-secondary"
  origins {
    name    = "secondary-origin"
    address = "tanstackship-secondary.workers.dev"
    weight  = 1.0
    enabled = true
  }
  monitor {
    type     = "https"
    path     = "/healthz"
    expected = "200"
    interval = 30
    retries  = 1
    timeout  = 3
  }
}

三个关键属性

  • default_pools 与 fallback_pool —— default_pools 是流量默认被引导至的地方;fallback_pool 则是当所有默认池失效时接管的后备池。
  • steering_policy —— random 适用于小型池;geo 适用于全球级服务;proximity 适用于对延迟敏感的服务。我们使用 random 是因为我们的源站分布在两个区域。
  • monitor —— 通过在 /healthz 执行 <5s 间隔的健康检查,让负载均衡器能够在用户察觉之前实现自动切换。

根据 Cloudflare Load Balancing guide 的说明,一旦监控器触发异常,故障转移将在 30 秒内迅速完成。


第 3 层:依托 R2 的静态资源后备

当源站池运行异常时,营销页面和文档依然必须确保能够渲染。第三层设计是一个 Cloudflare Worker,它能在探测到源站全面崩溃时,将请求重写到存储于 R2 的静态快照库。

后备 Worker

这种模式的设计非常直白 —— Worker 从 KV 读取 feature flag(功能开关),如果该标志被设置,它将挂载静态包,而不是将请求代理至源站:

typescript
// workers/static-failover.ts
export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const flag = await env.FAILOVER_KV.get("origin-down");
    if (flag === "1") {
      const url = new URL(request.url);
      const key = `${url.pathname.replace(/^\//, "") || "index"}.html`;
      const object = await env.STATIC_BUCKET.get(key);
      if (object) {
        return new Response(object.body, {
          headers: {
            "content-type": object.httpMetadata?.contentType ?? "text/html",
            "x-failover": "r2-static",
            "cache-control": "public, max-age=60",
          },
        });
      }
    }
    return fetch(request);
  },
};

必须接受的取舍

静态快照会在每次部署时重新生成 —— 通过 wrangler r2 object put 命令将营销站点与 Worker 一同构建至 R2。根据 R2's pricing docs,免费层的读取是不收费的,这意味着你的故障转移后备方案永远不会产生多余开销,除非你真正地动用了它。

动态页面在源站恢复之前将彻底不可用。对于结算页面来说这无法容忍;但对于营销网站,这完全可以接受。我们利用同一个 Worker 来根据主机名管控故障转移 —— tanstackship.com 会触发切换,而 app.tanstackship.com 不会。


第 4 层:向 D1 只读副本的数据库故障转移

第四层是数据库。对于运行在 Cloudflare D1 的 SaaS 而言,针对主数据库的读取操作非常廉价,但主库宕机意味着写操作的全面停摆——并且在故障发生几秒后,当副本开始返回 503 HTTP 状态码时,必定会引发读取数据陈旧 (read staleness) 的问题。

只读副本提权模式

修复方案是应用 read_replicas 的提权机制:当主库发生故障时,应用层将所有读取指令引导至指定的副本,并在本地排队写操作,一旦主库恢复连通,再重播这些本地写入。依据 D1 read-replica docs 所述,每个 D1 数据库开箱即带最多 10 个只读副本。

提权本身只是一次 API 调用:

bash
# 在主节点宕机期间,提升只读副本权限以处理所有读取请求
wrangler d1 read-replica promote tanstackship-db replica-name=us-east-1
# 一旦主节点恢复,从本地 SQLite WAL 重播已排队的写入操作
wrangler d1 execute tanstackship-db --file=./queued-writes.sql --persist

18 秒带来的转机

在我们的这次事故中,只读副本提权在写入队列堆满之前,为我们赢得了 18 秒的只读数据窗口。这区区 18 秒足以保障在 Workers 源站全力恢复期间,营销站点上的 /pricing、/features 以及 /blog 仍旧能够顺畅渲染。

想深入探寻更多模式机制,可以翻阅现有的 Cloudflare D1 Read Replicas guide,那里详细解构了副本拓扑与一致性窗口,同时 TanStack Ship edge caching patterns 则在这些基础之上结合 Workers Cache API 提供了一系列边缘层叠优化思路。


第 5 层:运维手册与季度演练

正是因为有了运维手册,你的技术架构设计才能实实在在地转换为实际应急能力。我们将手册保存在仓库的 runbooks/dns-outage.md 中,并且每个季度均进行一次演练。

bash
#!/usr/bin/env bash
# runbooks/drill.sh — 季度 DNS 故障转移演练
set -euo pipefail

echo "[1/5] Checking primary NS health"
dig +short tanstackship.com @ns1.cloudflare.com || exit 1

echo "[2/5] Flipping failover flag in KV"
wrangler kv key put --binding FAILOVER_KV "origin-down" "1"

echo "[3/5] Confirming R2 fallback serves /pricing"
curl -s -o /dev/null -w "%{http_code}\n" https://tanstackship.com/pricing

echo "[4/5] Verifying read-replica query path"
wrangler d1 execute tanstackship-db \
  --command "SELECT count(*) FROM users LIMIT 1" \
  --read-replica us-east-1

echo "[5/5] Reverting flags and restoring origin"
wrangler kv key put --binding FAILOVER_KV "origin-down" "0"

echo "Drill complete. Total elapsed: $SECONDS seconds."

该演练脚本大约需要 4 分钟执行,这足以揪出我们在真实事故中曾撞上的死角:陈旧的 KV 控制开关、缺失的 R2 快照、辅助源站缺少健康检查路由、或是 DNS 记录意外指向了停放页面。

部分往往容易被遗漏却又至关重要的手册审查项:

  • 谁有权切换 KV 开关? 并非所有人都有 wrangler 访问权限。请将 On-Call 轮班名册一并记录在这个演练脚本的源文件中。
  • 向客户呈现了什么? 静态后备应当展示横幅标语(例如:“我们正在努力恢复中,您的数据绝对安全”),而不是甩出一个毫无感情色彩的 502 通用报错页。
  • 沟通交流的既定流程? 使用 Twitter、专门的状态页,再接计费系统——务必按这个顺序逐一发声,并且每个季度都应进行演练。

一次简单的技术演训足矣;并不需要真正制造一场断网级别的真实故障。


第 6 层:事故期间的对外沟通

架构能让你重新上线,而对外沟通才能避免你永远失去客户。当我们的域名服务器发生异常切换时,必须严格按顺序通过这三个渠道发声,这个顺序至关重要:

  1. 状态页(Status page) —— 5 分钟内。我们使用由 Workers 渲染的 JSON 文档,并缓存在 status.tanstackship.com。在发布任何社交动态前,该页面会率先切换至“Investigating”(排查中)状态,因为监控仪表盘的工程师永远会先核实状态页。
  2. 公开动态发布 —— 15 分钟内。在 X 上发布简短声明确认问题存在,但不承诺任何具体恢复时间。根据 Cloudflare's reliability blog 的经验,降低期望并超预期交付(under-promising and over-delivering)是应对危机的非对称策略。
  3. 触达活跃试用用户的邮件 —— 30 分钟内。试用用户在事故期间的流失率最高,因此他们需要最详尽的情况说明:什么出错了、什么是安全的,以及他们何时能解除服务受阻状态。每个人都会收到同一份模板邮件,并根据其最后登录的区域进行定制化修改。

绝对不能做的事情:在负载均衡器尚未完成彻底清空(drained)之前就急于发布宽慰人心的恢复声明。当我们成功切换到辅助源站之后,原来的主源站依然又花了额外的 90 秒才清空完毕在途请求。我们特意将“全面恢复(all clear)”的推文向后推迟了两分钟发布,以免出现两条相互矛盾的公开信息。根据 ICANN Registrar Accreditation Agreement 的要求,注册商必须在面向 WHOIS 和 EPP 环境下维护高达 99.4% 的在线运行时间。


注册商故障真正是如何发生的

大多数由注册商引发的宕机都源于三种模式,每种模式都可以通过“域名服务器 + Cloudflare 负载均衡器”架构分别应对:

  • 转移中途回滚。 这就是我们的遭遇。在这个过程中,转出方注册商在转移失败时恢复了原本的 NS 记录,却并未向域名注册人发送邮件通知。根据 ICANN's transfer policy,回滚路径本来就没有通知义务。缓解该问题的最佳策略是始终配置好两组域名服务器,这样即使回滚发生,也不会导致访问跳转到一个停放页面。
  • 注册商 API 宕机。 如果注册商的控制面板无法访问,你根本无法切换域名服务器。应对方法是拥有第二家预先配置了区域数据的辅助注册商——这也是为什么会存在按成本价提供的 Cloudflare Registrar。
  • UI 改版期间意外删除 DNS 记录。 这是一个发生频率高得惊人的原因。应将区域文件视为代码进行备份。我们会将 dns/tanstackship.com.tf 提交备份至代码仓库中,并通过 Cloudflare Terraform provider 应用该配置,这为每次的 NS 变更都留下了可追溯的操作记录。

关于 DNS 如何与 Workers 部署网络产生交互的更广泛论述,Cloudflare Workers SSR guide 深入涵盖了上游边缘层的更多细节;此外,TanStack Ship features page 则记录了这份默认的区域配置。


实施限制声明

这套架构不是免费的,也并非放之四海而皆准。坦诚地说,存在以下两个限制:

  • 成本。 运行第二个 Worker 源站每月大约需要 5 美元。R2 加上只读副本的流量会额外增加 1 至 3 美元/月——整个故障转移架构每月的总花费约为 10 美元。虽然很便宜,但并非绝对的零成本。
  • 应用层面感知。 静态后备 Worker 只会重写营销端界面。应用层面的路由(如 /dashboard、/billing、/api)在源站恢复连通前仍会返回 503 错误。重读(Read-heavy)SaaS 可以继续扩展这个后备方案,而重写(write-heavy)SaaS 则无法做到。

这种方法非常适合在 Cloudflare Workers 上运行 SaaS 的独立开发者和小团队。但如果你拥有 10 万+ 的付费客户以及严格的 SLA 限制,你需要的是多区域双活架构(active-active),而不是这种主/备后备模式(primary/fallback)。


如果你希望在基于 TanStack Start 的 SaaS 中直接体验这套预先配置好的故障转移堆栈实录,TanStack Ship demo 已经集成了所有这四个层级——主 + 辅助 NS、负载均衡器池、R2 静态后备 Worker,以及 D1 只读副本的提权操作手册。试用该演示 (Try the demo),并在上线的第一天立刻开展演练。