兄弟们做网络和云运维最怕半夜接到“业务全挂了”的电话。负载均衡LB和网关是流量的大门一旦出事影响面就是100%。今天不讲故事直接上干货。复盘LB/网关故障的应急处置SOP全是现场拿血泪换来的经验。 故障初期“四不要”红线保命必看不要无脑重启网关实例或节点网关是流量入口重启会导致存量TCP连接瞬间全断业务直接报连接重置故障面瞬间扩大。不要在没看日志没抓包前就瞎改健康检查或超时参数改错了可能把原本正常的后端误判为宕机或者把超时时间改得无限长直接把网关连接池拖死。不要轻易把流量整体切走切流量会丢失用户会话和长连接如果备用集群容量没评估好切过去就是二次雪崩。不要随手改DNS TTL或直接切解析DNS有缓存改TTL不会立刻生效盲目切解析会导致部分用户去老机房部分去新机房状态错乱。处置总原则就一句话“先分层定位再动开关先止血再根治”。一、 正确开局先分层别一上来就动网关配置遇到网关告警第一件事是确认故障到底在哪一层。别一上来就登上网关服务器改配置。按“客户端 → DNS → LB/网关 → 后端RSReal Server”的链路逐层往下压。用状态码、响应耗时、连通性把问题范围收敛客户端/网络问题网关日志没收到请求或者网关返回200但客户端拿不到。通常是运营商劫持、本地网络不通、或者客户端DNS被污染。网关本身问题网关进程挂了、CPU打满、连接池耗尽、证书过期、配置错误。现象通常是502/504/503或者SSL握手失败。后端服务问题网关正常转发但后端RS不响应、响应慢、或者返回500。网关日志会明确记录upstream timed out或connection refused。二、 排查主链路命令与现象对照排查时手里要有武器。以下命令直接复制使用1. 客户端侧探测看表象# 看返回头、状态码和详细耗时-w 自定义输出格式curl-v-o/dev/null-s-wHTTP_CODE:%{http_code}\nTIME_TOTAL:%{time_total}\nTIME_CONNECT:%{time_connect}\nhttps://yourdomain.com/api/health# 指定Host和协议绕过本地DNS或强制走HTTP/HTTPScurl-HHost: yourdomain.com-khttps://1.2.3.4/api/health# 现象对应# - HTTP_CODE 502/504网关没拿到后端响应重点查后端和网关超时配置。# - HTTP_CODE 499客户端主动断开通常是后端太慢用户等不及刷新了页面。# - TIME_TOTAL 很大但 TIME_CONNECT 很小后端处理慢慢后端。2. DNS与证书排查# 查解析结果、TTL和权威DNSdigyourdomain.com tracenslookupyourdomain.com8.8.8.8# 现象对应解析到的IP不是期望的LB VIP或者TTL还是86400说明缓存没刷新。# 检查HTTPS证书链和到期时间echo|openssl s_client-connectyourdomain.com:443-servernameyourdomain.com2/dev/null|openssl x509-noout-dates-subject# 现象对应证书过期、证书链不完整缺少中间证书导致部分手机浏览器报错。3. 网关侧深度排查看内情# 抓包看TCP握手和HTTP响应过滤特定端口tcpdump-ieth0 port80-nn-tttt-c100# 查网关访问日志和错误日志以Nginx为例tail-f/var/log/nginx/access.log|grep-E502|504|499tail-f/var/log/nginx/error.log|grep-iEupstream|timeout|refused# 查网关健康检查状态与后端RS存活列表通过网关管理API或控制台# 现象对应error.log 出现 no live upstreams说明健康检查把所有后端都踢了。# 统计连接数和TIME_WAIT看是不是连接池爆了ss-ant|awk{print $1}|sort|uniq-c|sort-nrss-s# 现象对应TIME_WAIT 堆积上万或者 ESTABLISHED 达到网关上限说明短连接风暴或后端不释放连接。三、 高频故障现场逐个拆1. 后端全挂或部分异常现象大面积502或者部分请求成功部分502。排查查网关健康检查日志看RS是不是被误判下线。如果是部分502看是不是某个RS权重配错了或者某台RS进程假死端口在但不处理请求。处理假死节点直接踢出LB如果是健康检查太敏感比如超时设了100ms调大阈值。2. 会话保持失效现象用户反馈登录态丢失或者请求被轮询到不同后端导致数据不一致。排查查网关配置看是基于源IP保持还是Cookie保持。如果是源IP检查客户端出口IP是否漂移比如经过了多层NAT如果是Cookie检查后端应用是不是自己把Session清了。处理修正保持策略或者让后端应用改用Redis集中存储Session彻底解耦。3. HTTPS证书过期或链不完整现象浏览器报“连接不安全”部分APP接口调不通网关error.log有SSL握手报错。排查用openssl命令看证书到期时间和证书链。处理紧急替换证书。如果是链不完整把中间证书拼接到服务器证书后面。4. 限流/熔断误触发现象大量请求返回 429 (Too Many Requests) 或 503。排查查网关限流日志看是不是QPS阈值设得太低或者某个大客户的IP被误判为攻击。处理紧急调大限流阈值或者把白名单IP加到限流豁免列表。5. 连接数打满或TIME_WAIT堆积现象新建连接失败网关报cannot assign requested address或too many open files。排查用ss -s看连接状态。TIME_WAIT 堆积通常是因为网关到后端是短连接且并发高。处理开启网关到后端的 Keepalive长连接调整内核参数net.ipv4.tcp_tw_reuse 1调大文件描述符限制ulimit -n。6. 慢后端把网关拖垮现象网关CPU不高但响应极慢最后大面积504。排查看访问日志里的upstream_response_time发现动辄十几秒。网关的连接池被这些慢请求占满新请求进不来。处理调小网关的proxy_read_timeout比如从60s改到5s让网关快速失败释放连接同时推动后端优化或扩容。7. DNS问题现象网关日志正常但客户端就是访问不通或者解析到了旧IP。排查用dig查各地DNS解析结果。处理如果是本地运营商缓存只能等TTL过期或者让用户改DNS如114.114.114.114。如果是切流后不生效检查权威DNS的TTL是否真的改小了。8. 配置变更误操作现象刚发版或改完配置网关直接挂掉或路由全错。排查查配置变更历史对比 diff。处理别排查了直接回滚配置网关配置必须经过语法检查如nginx -t才能生效。四、 恢复与流量切换分场景给策略止血的时候动作要轻。区分三种操作的代价改网关配置如调超时、改权重代价通常会导致网关 reload存量长连接可能会断取决于网关实现但影响最小。策略首选。必须带灰度先改一台节点验证。切DNS解析切机房/切VIP代价有TTL延迟。在TTL过期前部分用户去老机房部分去新机房。TCP长连接会断开用户会话可能丢失。策略机房级故障如断电、断网才用。切之前必须确认新机房容量能扛住全量流量且后端应用支持多活或能快速同步状态。重启网关实例代价最狠。该实例上的所有存量连接瞬间全断客户端直接报错。策略不到万不得已如网关进程死锁、内存泄漏无法恢复不用。必须先从LB摘除该节点等流量清空后再重启。核心忠告切流量前一定要评估后端的承受能力。把流量切给一个没扩容的备用集群等于把故障转移甚至引发二次雪崩。五、 根因分析别总让网关背锅业务恢复了复盘时别总说是“网关软件有bug”。99%的网关故障根因都是配置和架构问题健康检查配置不合理探测路径太深带了数据库查询导致后端一慢健康检查就超时把正常节点踢了。超时/重试参数失衡网关超时时间大于后端超时时间或者网关重试次数太多导致请求放大把后端打挂。证书无自动化靠人肉记日子去换证书必过期。后端容量评估不足大促前没压测流量一上来后端先挂网关跟着报502。“慢变量”没人盯DNS解析漂移、证书到期、内核参数被悄悄改掉平时没告警出事才发现。怎么定责不要扯皮。拉出网关的access.log和error.log结合 Prometheus 的时间线。看是网关自身指标CPU/连接数先异常还是后端upstream_response_time先异常。数据说话一锤定音。六、 事后加固擦屁股的艺术健康检查优化探测路径必须是轻量级的如/health只检查进程存活不依赖下游数据库。阈值要合理如连续3次失败才下线。参数化与压测超时、重试、限流参数必须经过压测验证。严禁网关超时时间 后端超时时间。证书自动化上 ACME 协议如 Let’s Encrypt cert-manager或统一证书平台到期前30天必须告警。变更管控网关配置变更必须走审批必须有语法检查必须支持一键回滚。监控告警补齐覆盖可用性、延迟、4xx/5xx比例、连接数、证书剩余天数。告警要分级别半夜乱叫。容量与容灾定期评估后端容量制定扩容预案。多活/容灾切换每年至少演练一次别等真出事才发现备用机房是空的。七、 总结高频踩坑血泪教训最后盘点几个无数人踩过的坑大家避避雷没分层定位就动网关客户端网络问题你在那狂改网关配置改一天也修不好。误把后端故障当网关问题修后端OOM了你以为是网关转发有问题去调网关参数结果网关连接池被慢请求拖死。直接重启网关导致存量连接全断网关有点卡顿你直接systemctl restart结果引发大面积客诉。正确做法是先摘流。限流误触发当成攻击在解正常业务高峰触发了限流你以为是CC攻击拼命加白名单结果把真攻击放进了。改完TTL不生效是缓存背锅改了DNS的TTL发现没生效其实是中间递归DNS或者客户端本地缓存没清别急着骂权威DNS。切流量不灰度结果全量炸一键切100%流量到新版本/新机房结果新环境有Bug直接全量翻车连回滚都来不及。证书到期没人管全靠用户报障没有证书监控每次都是客服接到用户投诉“APP登不上”了运维才知道证书过期了。网络和网关运维就是走在钢丝上。流量无小事配置需谨慎。希望这篇实战复盘能让大家在遇到LB/网关故障时心里有底手中有招。如果你觉得这篇文章有用或者你在排查网关故障时遇到过什么奇葩坑欢迎在评论区留言交流觉得干货不错别忘了点个赞、收藏一下以备不时之需毕竟半夜排查故障时你可能只想直接复制命令我们下期见