ZStack 4.8.36 VPC路由器负载均衡配置过多导致启动超时并自动关机

bowen.he

适用范围

产品版本：ZStack Alibaba Cloud 4.8.36.1
组件：VPC路由器、负载均衡、VyOS、HAProxy
适用场景：VPC路由器关联较多负载均衡监听器，启动或重启时长时间处于“启动中”，随后超时并自动关机。

问题现象

VPC路由器启动后长期处于“启动中”，约5分钟后启动失败并自动关机。重复启动仍然出现相同现象。

稳定错误：

[Async Http Timeout] url: http://<VPC管理地址>:7272/lb/refresh,
timeout after 300[SECONDS]

关键排查

1. 从管理节点检查VPC管理地址，ping无丢包。
2. 访问http://<VPC管理地址>:7272/echo，返回HTTP 200。
3. VPC根盘使用率较低，inode、CPU和内存均充足。
4. zvr进程正常，7272端口正常监听。
5. VPC启动过程中，HAProxy监听器持续逐个创建。
6. zvr.log显示每个监听器会生成HAProxy配置，并串行提交VyOS防火墙规则。
7. 现场约有50个HAProxy监听器，每个监听器处理约12至15秒，整体预计需要10至13分钟。
8. 日志未发现commit failed、Traceback或固定卡在某个监听器。

原因分析

[已确认][E4][当前事件]

VPC路由器启动时需要恢复约50个负载均衡监听器。HAProxy配置生成和VyOS防火墙规则提交采用串行处理，整体耗时超过默认300秒。

applianceVm.connect.timeout默认值为300秒。管理节点等待超时后判定VPC路由器启动失败，applianceVm.auto.rollback随后将路由器自动停止。再次启动会重新回放全部配置，因此形成反复启动失败的现象。

处理方法

执行位置：管理节点zstack-cli。

1. 查询当前配置：

QueryGlobalConfig category=applianceVm name=connect.timeout

2. 记录原值后，将等待时间临时调整为1800秒：

UpdateGlobalConfig category=applianceVm name=connect.timeout value=1800

3. 只启动一次VPC路由器，不要同时执行重连或重复重启。

4. 观察VPC内部状态：

uptime
ps -ef | grep -E 'my_commit|unionfs-fuse|vyatta-firewall' | grep -v grep
ps -ef | grep '/opt/vyatta/sbin/haproxy' | grep -v grep | wc -l
tail -n 100 /home/vyos/zvr/zvr.log

5. 等待HAProxy数量稳定、不再产生新的Configure VYOS记录，且临时commit进程退出。

验证结果

调整applianceVm.connect.timeout并重新启动后，VPC路由器成功完成配置回放，平台状态恢复正常，原“启动超时后自动关机”现象消失。

本次确认了VPC路由器启动状态恢复；所有LB监听器的业务流量和后端健康状态未在材料中逐项记录，仍应结合业务进行验证。

风险与注意事项

1. applianceVm.connect.timeout影响VPC路由器、云路由器等appliance VM，不直接影响普通业务云主机。
2. 增大超时时间不会提高配置速度，只是避免平台过早判定失败。
3. 真正故障时，平台报告启动失败的时间也会延后。
4. 不建议关闭applianceVm.auto.rollback，否则可能保留配置不完整的路由器。
5. 长期应清理无效负载均衡监听器、后端服务器组和防火墙规则，或拆分VPC承载的网络服务。
6. 如需回退，将connect.timeout恢复为变更前记录值。

参考案例

VPC超时问题及解决方案：
http://bbs.zstack.io/forum.php?mod=viewthread&tid=7145

VPC路由器配置过多重连超时：
http://bbs.zstack.io/forum.php?mod=viewthread&tid=11867

标签：VPC路由器、负载均衡、启动超时、applianceVm.connect.timeout