Envoy 上游离群点检测Outlier Detection被动健康检查、驱逐算法与全部检测类型详解【免费下载链接】envoyCloud-native high-performance edge/middle/service proxy项目地址: https://gitcode.com/GitHub_Trending/en/envoyEnvoy 的离群点检测Outlier Detection是一种被动健康检查机制它通过观察真实流量产生的错误超时、TCP 重置、5xx 响应等动态识别上游集群中表现异常的节点并将其从健康负载均衡集合中暂时驱逐。本文基于 Envoy 官方架构文档 outlier.rst 展开结合 OutlierDetection 协议定义 与 检测器实现源码完整讲解其错误分类、驱逐/回归算法、六种检测类型、错误映射、驱逐事件日志与全部配置参数读完后可独立为任意上游集群设计合理的离群点检测策略。1. 离群点检测的定位被动健康检查离群点检测是动态判断上游集群中某些节点是否表现异常并将其移出健康负载均衡集合的过程。异常可能体现在连续失败次数、时间窗口内的成功率、时间窗口内的延迟等多个维度。它属于被动健康检查——Envoy 同时支持主动健康检查Active Health Checking两者可以一起启用也可以各自独立启用共同构成完整的数据面上游健康检查方案。从源码结构看离群点检测是集群配置的一部分每个 cluster 通过 OutlierDetection 消息配置检测器DetectorImpl随集群创建同时它依赖过滤器来上报错误、超时和重置当前支持离群点检测的过滤器有HTTP routerenvoy.filters.http.routerTCP proxyenvoy.filters.network.tcp_proxyRedis proxyenvoy.filters.network.redis_proxyThrift proxyenvoy.filters.network.thrift_proxy1.1 两类错误外部产生 vs 本地产生检测到的错误分为两个类别这一区分是理解全部检测类型的前提类别产生方特征典型示例外部产生错误externally originated上游服务器事务级错误Envoy 已成功建立连接后由上游服务器对收到的请求作出响应时产生HTTP 服务器返回 500Redis 服务器返回无法解码的响应体本地产生错误locally originatedEnvoy 自身由打断或阻止与上游通信的事件触发超时、TCP 重置、无法连接到指定端口不同过滤器能检测到的错误类型不同http router能检测本地产生错误超时、重置等连接类错误并且因为理解 HTTP 协议还能上报 HTTP 服务器返回的错误外部产生错误。也就是说即使与上游 HTTP 服务器连接成功事务仍可能失败。tcp proxy不理解 TCP 之上的任何协议只上报本地产生错误。1.2split_external_local_origin_errors合并还是分桶在默认配置下split_external_local_origin_errors为false本地产生错误不会与外部产生事务错误区分它们落入同一个计数桶统一与consecutive_5xx、consecutive_gateway_failure、success_rate_stdev_factor等配置项比较。例如与某上游 HTTP 服务器因超时连续 2 次连接失败随后连接成功但服务器又返回 500则总错误计数为 3。注意对于 TCP 流量consecutive_5xx是应当设置的参数它会透明地映射为 TCP 连接失败。非 HTTP 过滤器如 tcp proxy、redis proxy产生的错误在内部被映射为 HTTP 5xx 码并以此对待。将split_external_local_origin_errors设为truesplit 模式后本地产生错误与外部产生错误由独立的计数器分别跟踪检测器可以只响应其中一类而忽略另一类。源码中这一分桶结构清晰可见DetectorHostMonitorImpl 为每个主机维护external_origin_sr_monitor_和local_origin_sr_monitor_两个成功率监视器以及独立的consecutive_5xx_/consecutive_local_origin_failure_原子计数器并通过putResultNoLocalExternalSplit/putResultWithLocalExternalSplit两个函数指针根据配置路由到对应逻辑。一个重要约束集群可能被多个过滤器链共享。若某一条过滤器链基于自己的离群点检测类型驱逐了一个主机其他过滤器链即使按各自的检测类型不会驱逐该主机也会受到影响。2. 驱逐算法渐进退避的 ejection / uneject驱逐动作的运行方式取决于检测类型连续 5xx 这类检测内联执行inline错误达到阈值立即触发周期性成功率检测则在固定间隔执行。算法共四步某个主机被判定为离群点outlier检查当前已被驱逐的主机数量是否低于允许阈值由max_ejection_percent指定。若已超限该主机不被驱逐主机被驱逐若干毫秒。驱逐意味着该主机被标记为不健康在负载均衡中不会被使用——除非负载均衡器处于panic场景。驱逐时长 base_ejection_time× 该主机连续被驱逐的次数持续失败的主机会被驱逐越来越长的时间当达到max_ejection_time后不再增长。主机恢复健康后驱逐时长乘数随时间递减主机健康状态按interval间隔检查若检查时主机健康乘数减 1。假设主机持续健康大约需要max_ejection_time / base_ejection_time × interval秒才能把驱逐时长降回最小值base_ejection_time被驱逐的主机在驱逐时长到期后自动回归服务。注意若同时配置了主动健康检查一次成功的主动健康检查会解除驱逐uneject并清零所有离群点检测计数器若主机尚未达到unhealthy_threshold次健康检查失败单次成功检查即可解除驱逐若主机带有FAILED_ACTIVE_HC标志则需要healthy_threshold次连续成功检查才能解除驱逐并清除该标志。如果你的主动健康检查不校验数据面真实流量就会出现AHC 通过但真实流量在失败时端点被过早解除驱逐的情况——此时可将successful_active_health_check_uneject_host设为false关闭该行为默认为true见 bootstrap OutlierDetection 字段。2.1 源码印证ejectHost 与阈值判定DetectorImpl::ejectHost 实现了第 2、3 步的核心逻辑double ejected_percent 100.0 * (ejections_active_helper_.value() 1) / host_monitors_.size(); bool should_eject (ejected_percent max_ejection_percent); if (config_.alwaysEjectOneHost()) { should_eject (ejections_active_helper_.value() 0) || should_eject; }即ejected_percent按当前活跃驱逐数 1占集群主机总数的百分比计算超过max_ejection_percent时放弃本次驱逐并累加ejections_overflow统计always_eject_one_host默认false开启后只要尚无主机被驱逐就至少保证驱逐一个。被驱逐时还会生成随机 jitter由max_ejection_time_jitter控制加到驱逐时长上防止大量主机同时到期、同时重连造成连接风暴并在eject_time_backoff * base_eject_time max_eject_time base_eject_time时将退避乘数加一。而 checkHostForUneject 实现了回归判定当min(base_eject_time × ejectTimeBackoff, max_eject_time) jitter小于等于距上次驱逐的已流逝时间时调用 unejectHost——清除FAILED_OUTLIER_CHECK健康标志、重置consecutive_5xx/consecutive_gateway_failure/consecutive_local_origin_failure三个连续错误计数器注释明确说明为避免计数器接近阈值时少量新错误导致立即再被驱逐、触发回调并记录 uneject 事件。这些时长参数均可被 runtime 值动态覆盖见第 6.3 节。2.2 核心参数速查表含默认值以下默认值取自 outlier_detection.proto 注释与源码中 DetectorConfig 常量 的双重确认参数含义默认值consecutive_5xx连续 5xx 达到该值触发驱逐显式设 0 则禁用5interval两次驱逐分析扫描的间隔新驱逐与回归都可能发生10000msbase_ejection_time基础驱逐时长实际时长 该值 × 连续驱逐次数30000msmax_ejection_percent集群中可被驱逐的主机最大百分比10%max_ejection_time驱逐时长上限300000ms或base_ejection_time值取较大者max_ejection_time_jitter防止雷群效应的驱逐时长随机抖动上限0senforcing_consecutive_5xx检测到连续 5xx 离群状态后实际执行驱逐的百分比概率100consecutive_gateway_failure连续网关失败502/503/504驱逐阈值显式设 0 禁用5enforcing_consecutive_gateway_failure网关失败类型实际执行驱逐的百分比概率0默认关闭success_rate_minimum_hosts满足请求量要求的主机数低于该值则不做成功率检测5success_rate_request_volume单主机单窗口最低请求量低于则不参与100success_rate_stdev_factor标准差因子除以 1000阈值 均值 − 标准差 × 因子1900failure_percentage_threshold失败率阈值达到或超过即驱逐85failure_percentage_minimum_hosts失败率检测所需最少主机数5failure_percentage_request_volume失败率检测单主机最低请求量50split_external_local_origin_errors是否区分本地/外部产生错误falseconsecutive_local_origin_failure本地产生连续失败驱逐阈值仅 split 模式生效5successful_active_health_check_uneject_hostAHC 成功后是否解除驱逐并清零计数器truealways_eject_one_host无视max_ejection_percent至少驱逐一个主机falsedetect_degraded_hosts将返回x-envoy-degraded头的主机标记为降级false一份典型的每集群 YAML 配置字段与协议定义一一对应clusters: - name: service_envoy type: EDS lb_policy: ROUND_ROBIN outlier_detection: interval: 10s base_ejection_time: 30s max_ejection_time: 300s max_ejection_percent: 10 consecutive_5xx: 5 split_external_local_origin_errors: true consecutive_local_origin_failure: 5 enforcing_consecutive_local_origin_failure: 100 success_rate_request_volume: 100 success_rate_minimum_hosts: 5 success_rate_stdev_factor: 1900 enforcing_success_rate: 1003. 检测类型详解Envoy 支持以下离群点检测类型。3.1 连续 5xxConsecutive 5xx默认模式split_external_local_origin_errors: false统计所有错误——本地产生与外部产生事务错误一并计入非 HTTP 过滤器tcp proxy、redis proxy产生的错误被内部映射为 5xx 对待。split 模式true只统计外部产生事务错误忽略本地产生错误。上游为 HTTP 服务器时仅 5xx 错误计入例外见连续网关失败对经 redis proxy 服务的 Redis 服务器只有格式错误的响应计入——格式正确但携带业务错误如索引不存在、拒绝访问的响应不计入。主机连续返回达到consecutive_5xx值的此类错误即被驱逐。该检测内联执行源码中 DetectorHostMonitorImpl::putResult 收到错误结果后达到阈值即经notifyMainThreadConsecutiveError派发到主线程执行 onConsecutive5xx进而调用ejectHost。3.2 连续网关失败Consecutive Gateway Failure网关错误是 5xx 的一个子集即状态码502、503、504默认模式统计网关错误与本地产生失败超时、TCP 重置等的合集split 模式只统计网关错误且仅 http router 支持。主机连续返回达到consecutive_gateway_failure值的网关错误即被驱逐。注意enforcing_consecutive_gateway_failure默认值为 0——即该检测类型默认只记录统计、不实际执行驱逐需要显式设置为 100或中间值灰度开启。这一默认值由 协议注释 与源码常量DEFAULT_ENFORCING_CONSECUTIVE_GATEWAY_FAILURE 0双重确认。3.3 连续本地产生失败Consecutive Local Origin Failure仅当split_external_local_origin_errors为true时可用只统计本地产生错误超时、重置等。若 Envoy 反复无法连接某上游主机、或与主机的通信反复被中断检测到的问题包括超时、TCP 重置、ICMP 错误等达到consecutive_local_origin_failure次即被驱逐。该类型由 http router、tcp proxy 和 redis proxy 支持。3.4 成功率Success Rate基于成功率的离群点检测从集群内每个主机聚合成功率数据然后在给定间隔执行统计离群点检测某主机在聚合窗口内的请求量低于success_rate_request_volume则不对其计算若窗口内达到最低请求量的主机数少于success_rate_minimum_hosts则整个集群不做该检测。驱逐阈值的计算公式为均值成功率 −成功率标准差 ×success_rate_stdev_factor/ 1000即默认因子 1900 对应 1.9 倍标准差。实现位于 SuccessRateAccumulator采用双桶current/backup固定时间窗口一个桶写入、一个桶统计扫描时交换successRateEjectionThreshold 计算集群均值与阈值processSuccessRateEjections 在每个 interval 周期将低于阈值的主机批量驱逐。默认模式本地与外部错误统一计入enforcing_local_origin_success_rate被忽略split 模式本地/外部错误分别计数。success_rate_minimum_hosts、success_rate_request_volume、success_rate_stdev_factor同时适用于两类错误但enforcing_success_rate只作用于外部错误enforcing_local_origin_success_rate只作用于本地错误。3.5 失败率Failure Percentage失败率检测与成功率检测类似——同样依赖每个主机的聚合成功率数据——但不同之处是它不与集群均值比较而是与一个固定的用户配置阈值比较该阈值由failure_percentage_threshold字段指定默认 85%主机失败率达到或超过该值即被驱逐。其余配置字段与成功率检测类似并同样遵守split_external_local_origin_errors外部/本地两类错误的执行百分比分别由enforcing_failure_percentage与enforcing_failure_percentage_local_origin控制二者默认均为 0即默认不实际执行。与成功率检测相同主机请求量低于failure_percentage_request_volume默认 50不对其检测满足最低请求量的主机数低于failure_percentage_minimum_hosts默认 5则整个集群不检测。3.6 降级主机检测Degraded Host Detection设置detect_degraded_hosts: true后返回x-envoy-degraded响应头的主机被标记为降级degraded。与驱逐不同降级主机仍保留在负载均衡轮转中只是被降优先级——仅在健康主机数量不足时才接收流量。主机被降级后使用与驱逐相同的退避算法计算状态保持时长base_ejection_time× 连续降级次数上限max_ejection_time到期自动清除。实现上DetectorImpl::setHostDegradedMainThread 为命中主机打上DEGRADED_OUTLIER_DETECTION健康标志并记录DEGRADED类型事件checkHostForUndegrade 在 interval 扫描中按同样的退避公式清除标志。事件日志中对应的OutlierEjectionType.DEGRADED枚举定义见 outlier_detection_event.proto。4. 错误映射Error Mapping离群点检测默认只理解 HTTP 状态码响应状态码 5xx 视为错误其余视为成功。若需改变判定方式可通过映射实现gRPC对 gRPC 请求检测使用由grpc-status响应头映射出的 HTTP 状态码来判定HTTP若需重新定义何种响应算错误可在集群的typed_extension_protocol_options下配置envoy.extensions.upstreams.http.v3.HttpProtocolOptions的 outlier_detection 段error_matcher字段且为 required 规则约束。匹配逻辑响应匹配 matcher 则上报为 5xx错误不匹配则上报为 200成功——即配置了 matcher 后非匹配的响应一律视为成功不再按 5xx 兜底判定。5. 驱逐事件日志Ejection Event LoggingEnvoy 可选地输出离群点驱逐事件日志。日常运维中这非常有价值全局统计不足以回答哪些主机被驱逐了、因为什么原因。日志内容是基于 protobuf 的 OutlierDetectionEvent 消息转储字段包括type驱逐类型枚举CONSECUTIVE_5XX、CONSECUTIVE_GATEWAY_FAILURE、SUCCESS_RATE、CONSECUTIVE_LOCAL_ORIGIN_FAILURE、SUCCESS_RATE_LOCAL_ORIGIN、FAILURE_PERCENTAGE、FAILURE_PERCENTAGE_LOCAL_ORIGIN、DEGRADEDtimestamp事件时间戳、secs_since_last_action距上次动作的秒数cluster_name所属集群、upstream_url被驱逐主机地址如tcp://1.2.3.4:80actionEJECT或UNEJECTnum_ejections该主机累计被驱逐次数本地计数主机从集群移除后再加入会重置enforcedtrue表示实际执行了驱逐false表示仅记录事件但未实际驱逐被max_ejection_percent或 enforcing 概率拦截oneofevent成功率先型附带eject_success_rate_event连续型附带eject_consecutive_event。日志在集群管理器Cluster Manager级别配置即 bootstrap 的 ClusterManager.outlier_detection.event_log_path 字段指定事件日志文件路径另有event_service字段用于向远端 gRPC 事件服务推送当前标记为 not-implemented-hide。写入路径见 EventLoggerImpl通过 AccessLogManager 创建访问日志文件在ejectHost/unejectHost时调用logEject/logUneject落盘。6. 配置参考6.1 集群管理器全局配置bootstrapClusterManager.outlier_detection定义event_log_path指定驱逐事件日志路径。6.2 每集群配置Cluster.outlier_detection即 config.cluster.v3.OutlierDetection 消息字段与默认值见第 2.2 节速查表。注意interval与base_ejection_time的 proto 校验规则要求严格大于 0。6.3 Runtime 动态设置源码 定义了一批 runtime 键可在不重启的情况下动态覆盖对应配置——例如 interval 扫描定时器 armIntervalTimer 每次触发都会读取outlier_detection.interval_msRuntime 键覆盖的配置outlier_detection.max_ejection_percentmax_ejection_percentoutlier_detection.consecutive_5xxconsecutive_5xxoutlier_detection.consecutive_gateway_failureconsecutive_gateway_failureoutlier_detection.consecutive_local_origin_failureconsecutive_local_origin_failureoutlier_detection.interval_msintervaloutlier_detection.base_ejection_time_msbase_ejection_timeoutlier_detection.max_ejection_time_msmax_ejection_timeoutlier_detection.max_ejection_time_jitter_msmax_ejection_time_jitteroutlier_detection.enforcing_consecutive_5xxenforcing_consecutive_5xxoutlier_detection.enforcing_consecutive_gateway_failureenforcing_consecutive_gateway_failureoutlier_detection.enforcing_consecutive_local_origin_failureenforcing_consecutive_local_origin_failureoutlier_detection.enforcing_success_rateenforcing_success_rateoutlier_detection.enforcing_local_origin_success_rateenforcing_local_origin_success_rateoutlier_detection.enforcing_failure_percentageenforcing_failure_percentageoutlier_detection.enforcing_failure_percentage_local_originenforcing_failure_percentage_local_originoutlier_detection.success_rate_minimum_hosts/success_rate_request_volume/success_rate_stdev_factor成功率检测三项参数outlier_detection.failure_percentage_minimum_hosts/failure_percentage_request_volume/failure_percentage_threshold失败率检测三项参数6.4 统计指标每个集群的离群点检测统计由 ALL_OUTLIER_DETECTION_STATS 宏定义核心包括按类型划分的实际驱逐计数ejections_consecutive_5xx、ejections_success_rate、ejections_total等检测命中但未必执行的计数ejections_detected_consecutive_5xx、ejections_detected_consecutive_gateway_failure、ejections_detected_success_rate、ejections_detected_failure_percentage、ejections_detected_consecutive_local_origin_failure、ejections_detected_local_origin_success_rate、ejections_detected_local_origin_failure_percentage、ejections_detected_degradation执行成功的计数ejections_enforced_consecutive_5xx、ejections_enforced_success_rate、ejections_enforced_failure_percentage、ejections_enforced_consecutive_local_origin_failure、ejections_enforced_local_origin_success_rate、ejections_enforced_local_origin_failure_percentage、ejections_enforced_totalejections_overflow因超出max_ejection_percent而放弃驱逐的次数ejections_active计数当前处于驱逐状态的主机数gaugeAccumulate。detected与enforced计数之差正好量化了 enforcing 概率拦截和百分比阈值拦截的效果是调优时最有诊断价值的指标对。7. 实践要点小结先分清错误来源再选检测类型TCP 流量用consecutive_5xx透明映射连接失败需要把连不上和处理错分开治理时开启split_external_local_origin_errors再用consecutive_local_origin_failure与enforcing_local_origin_success_rate精细控制。默认值即一套保守基线连续 5 次错误驱逐、10% 驱逐上限、30s 起递增驱逐、300s 封顶成功率检测默认参数5 主机、100 请求量、1.9 标准差适合多数中等规模集群。网关失败与失败率检测默认只检测不执行enforcing 均为 0启用前先观察ejections_detected_*指标再逐步调高 enforcing 概率。驱逐是集群级共享状态多过滤器链共享集群时一条链的驱逐会影响所有链规划检测策略时要以集群而非过滤器链为单位。排查问题打开事件日志在 bootstrap 的ClusterManager.outlier_detection.event_log_path指定路径即可按OutlierEjectionEvent逐条核对每次 eject/uneject 的主机、类型与 enforced 状态。【免费下载链接】envoyCloud-native high-performance edge/middle/service proxy项目地址: https://gitcode.com/GitHub_Trending/en/envoy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考