Kubespray 如何使用 kube-vip 为控制面构建虚拟 IP 高可用负载端点【免费下载链接】kubesprayDeploy a Production Ready Kubernetes Cluster项目地址: https://gitcode.com/GitHub_Trending/ku/kubespray如果你的 Kubespray 集群有多个控制面节点但又不想引入外部负载均衡器HAProxy、Nginx 硬件 LB 等就需要给 kube-apiserver 一个高可用的访问入口。Kubespray 内置的 kube-vip 方案正是为此设计的在每台kube_control_plane节点上以静态 Pod 方式运行 kube-vip用 ARP或 BGP在节点间接管一个虚拟 IPVIP并把流量转发到 apiserver从而为控制面构建一个不依赖外部硬件/软件的虚拟 IP 高可用负载端点。本文基于仓库中的 kube-vip 文档 与 HA 端点文档说明如何配置 kube-vip 作为控制面 HA 负载端点、Kubespray 执行时的实际行为以及可以核对的结果。为什么默认配置不是高可用端点Kubespray 默认配置的是非 HA的 apiserver 端点指向kube_control_plane组第一个节点的access_ip或者走每台非主节点上的本地 nginx 反代loadbalancer_apiserver_localhost默认为True。ha-mode 文档 明确写道如果你选择不用本地内置负载器就需要使用 kube-vip 的 Ansible role或自建负载器来实现 HA。也就是说本文场景的目标很具体让集群内组件非主节点的 kubelet、kube-proxy以及外部客户端通过一个 VIP:port 访问 apiserver任意一台控制面节点故障后 VIP 仍可用。准备条件集群按常规方式部署存在多台kube_control_plane节点。kube-vip 的安装任务loadbalancer/kube-vip.yml只在kube_control_plane in group_names且kube_vip_enabled为真的节点上执行。一个可用的 VIP 地址用于kube_vip_address文档示例值10.42.42.42仅作示例需替换为你网络中实际的 VIP。一个明确的约束当 kube-proxy 模式为ipvs且启用了 kube-vip ARP 时必须同时设置kube_proxy_strict_arp: true否则安装任务会直接失败报错信息为kube-vip require kube_proxy_strict_arp true, see https://github.com/kube-vip/kube-vip/blob/main/docs/kubernetes/arp/index.md对应配置kube_proxy_strict_arp: true可选但常见的限制检查kube_vip_bgp_sourceip与kube_vip_bgp_sourceif互斥同时设置非空值会在任务中断言失败kube-vip allows only one of kube_vip_bgp_sourceip or kube_vip_bgp_sourceif.。相关变量在 inventory/sample/group_vars/k8s_cluster/addons.yml 中有注释掉的完整示例kube_vip_enabled、kube_vip_arp_enabled、kube_vip_address等修改你自己的 inventory 时按同样位置覆盖即可。最小配置启用控制面 VIP在group_vars/k8s_cluster下启用 kube-vip 并声明控制面 HA变量必须显式开启默认kube_vip_enabled为false见 kubespray_defaults# 显式启用 kube-vip kube_vip_enabled: true # 控制面 HA需要一个 VIP kube_vip_controlplane_enabled: true kube_vip_address: 10.42.42.42 # 文档示例值替换为实际 VIP # 让集群组件通过 VIP 访问 apiserver loadbalancer_apiserver: address: {{ kube_vip_address }} port: 6443 # 可选指定 kube-vip 绑定的网卡 # kube_vip_interface: ens160几点说明loadbalancer_apiserver使非主节点上的 kubelet、kube-proxy 通过 VIP 访问 apiserver。ha-mode 文档 指出它与loadbalancer_apiserver_localhost互斥本地内置 LB 与该外部 VIP 端点不能同时生效文档仅保留了两者特殊共用的例外说明该情况下集群并不感知外部 LB。kube_vip_address同时是 kube-vip 声明 VIP 的地址也是loadbalancer_apiserver.address引用的变量二者保持一致即可。kube_vip_lb_fwdmethod默认为local见 defaults控制面 VIP 场景一般无需改动若改用masquerade渲染出的 manifest 会把容器置为privileged: true且拉取镜像为带-iptables后缀的变体。可选分支ARP 与 BGP 两种接管模式VIP 的宣告方式二选一对应 kube-vip 文档 给出的两段配置。ARP 模式同网段直连场景文档默认推荐路径kube_vip_arp_enabled: trueBGP 模式需要通过路由器宣告 VIPkube_vip_bgp_enabled: true kube_vip_local_as: 65000 kube_vip_bgp_routerid: 192.168.0.2 kube_vip_bgppeers: - 192.168.0.10:65000::false - 192.168.0.11:65000::false # kube_vip_bgp_peeraddress: # kube_vip_bgp_peerpass: # kube_vip_bgp_peeras: # kube_vip_bgp_sourceip: # kube_vip_bgp_sourceif:BGP 各值按文档示例填写后替换为你自己的自治系统号、router-id 和对端信息。与本文控制面场景无关的其余开关按需开启# 用 kube-vip 作为 Kubernetes Service 的 LoadBalancer文档提示还需要额外手工步骤不属本文范围 kube_vip_services_enabled: false # 服务 LoadBalancer 配合 local traffic policy 时 kube_vip_enableServicesElection: true # 调整 LeaderElection 参数 kube_vip_leaseduration: 30 kube_vip_renewdeadline: 20 kube_vip_retryperiod: 4 # 从 kube-vip 静态 Pod 暴露 Prometheus metrics kube_vip_metrics_enabled: true # kube_vip_metrics_port: 2112 # 默认 2112与上游 --prometheusHTTPServer 默认一致Kubespray 部署时的实际行为了解执行逻辑有助于核对结果。节点任务 做了三件事前置检查上文提到的kube_proxy_strict_arp检查ipvs ARP 场景与 BGP source 互斥检查不满足即中止部署决定挂载的 kubeconfig默认渲染 manifest 引用/etc/kubernetes/admin.conf第一台控制面节点在super-admin.conf存在或 kubeadm 尚未运行时使用super-admin.confkube_vip_admin_conf由任务set_fact决定把 kube-vip.manifest.j2 渲染为静态 Pod写入{{ kube_manifest_dir }}/kube-vip.yml权限0640。kube_manifest_dir在 sample inventory 中定义为{{ kube_config_dir }}/manifests即静态 Pod 目录通常为/etc/kubernetes/manifests。渲染出的 manifest 值得留意的细节均来自模板本身Pod 运行在kube-system命名空间hostNetwork: truehostAliases把kubernetes解析到127.0.0.1环境变量按你开启的开关注入vip_arp、address、port取kube_apiserver_port、vip_nodenameinventory_hostname控制面开关还会注入cp_enable: true、cp_namespace: kube-system非masquerade模式下容器 capabilities 只添加NET_ADMIN与NET_RAW并 drop 其余masquerade模式改为privileged: true镜像默认kube-vip/kube-vip:v1.0.3kube_vip_version: 1.0.3见 download.ymlkube_vip_lb_fwdmethod masquerade时镜像名追加-iptables。配置完成后按 Kubespray 常规方式对kube_control_plane节点执行部署仓库根目录的 cluster.yml 入口 playbook静态 Pod 会被 kubelet 接管为 kube-vip 进程。验证结果文档给出的可核对点如下静态 Pod 文件部署成功后每台控制面节点上存在{{ kube_manifest_dir }}/kube-vip.yml即kube_config_dir/manifests目录下的kube-vip.yml。检查其中address的值等于你设置的kube_vip_addressvip_arp/bgp_enable等环境变量与你的开关一致第一台控制面节点的volumes挂载为super-admin.conf其余为admin.conf。访问端点按 ha-mode 文档 的端点求值表External LB, no internal即 kube-vip VIP 作为负载端点、不用本地内置 LB时集群内与外部的访问端点均为https://lb:lp——lb是负载端点地址你的 VIPlp是loadbalancer_apiserver.port文档示例中为 6443。用kubectl或 API 请求指向该 VIP:port 能连通 apiserver即说明虚拟 IP 端点生效。反向核对如果部署在任务 Kube-vip | Check cluster settings for kube-vip 处失败且信息涉及kube_proxy_strict_arp说明你处于 ipvs ARP 组合但未设置该变量补上kube_proxy_strict_arp: true后重跑即可。限制与边界本文只覆盖 kube-vip 作为控制面 HA 端点的用法。若同时用 kube-vip 为LoadBalancer类型 Service 分配地址kube_vip_services_enabled文档明确提示还需要 kube-vip 侧的手工步骤不在本文操作链内。loadbalancer_apiserverVIP 端点与loadbalancer_apiserver_localhost本地内置 LB互斥不要在同一集群里把两者都作为主访问路径配置。kube-vip 的 LeaderElection 参数kube_vip_leaseduration/kube_vip_renewdeadline/kube_vip_retryperiod与 metrics 端口均为可选项改动前先确认监控侧的抓取配置是否匹配新的端口值默认 2112。【免费下载链接】kubesprayDeploy a Production Ready Kubernetes Cluster项目地址: https://gitcode.com/GitHub_Trending/ku/kubespray创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考