企业官网建设流程全解析

Higress网关资源优化：CPU与内存占用砍掉一半的4处配置

【免费下载链接】higress🤖 AI Gateway | AI Native API Gateway项目地址: https://gitcode.com/GitHub_Trending/hi/higress

Higress是基于Envoy的AI原生API网关，本文以仓库里的真实values.yaml为例，带你过一遍资源消耗定位和关键参数修改的完整流程，把网关的CPU和内存占用从默认的高水位降到实际需要的水平。

一、先搞清楚：你的网关资源到底花在哪了

调参之前先看资源去向，网关的消耗基本集中在三块，弄清楚之后改什么心里才有数：

• 上游连接并发：网关同时维持到上游服务的连接越多，每条连接占用的缓冲和状态就越多，这是内存的第一大来源（"连接并发"可以理解为同时有多少条流水线在跑）。
• 请求体缓冲：非流式场景下，Envoy要把请求或响应体整体缓存在内存里，body越大、响应越慢，内存峰值越高。
• 副本冗余：默认部署就是2个网关副本，如果每个副本的资源申请又偏高，整个集群的占用直接翻倍。

二、配置清单：拿到项目后先改这几项

配置示例文件 里已经给出了全部默认值，下面4处是最值得先动的：

1. 网关资源请求与限制（gateway.resources）：默认requests和limits都是2核/2GB，对小流量环境偏高，先把两项一起调低，观察稳定后再逐步回调。

gateway: resources: requests: { cpu: 1000m, memory: 1024Mi } limits: { cpu: 1000m, memory: 1024Mi }

2. 上游并发阈值（global.defaultUpstreamConcurrencyThreshold）：限制单个网关到某个上游服务的最大并发连接数，防止一个热门服务把连接资源全部耗尽。

global: defaultUpstreamConcurrencyThreshold: 10000

3. 下游连接与缓冲参数（downstream）：idleTimeout控制空闲连接保活多久，connectionBufferLimits控制单条连接的缓冲大小，调小缓冲是最直接省内存的手段。

downstream: idleTimeout: 180 connectionBufferLimits: 32768

4. 自动扩缩容（gateway.autoscaling）：开启HPA后按CPU利用率自动增减副本，HPA模板 会据此渲染HorizontalPodAutoscaler，低峰期不用为峰值流量买单。

gateway: autoscaling: enabled: true minReplicas: 1 maxReplicas: 5 targetCPUUtilizationPercentage: 80

整体资源流向可以参考这张架构图，Gateway侧的Envoy才是真正吃内存的组件：

三、调优实操：从压测到上线的完整走一遍

先压测拿基线。用默认配置部署后做一次压力测试，记下三个数：最大可持续QPS、Pod内存峰值、CPU利用率。后续所有改动都以这组数据做对照，没有基线的优化只是拍脑袋。

再逐项调参。一次只改一个参数，比如先降内存limit，确认压测结果无回退再动并发阈值。调的过程中盯住监控面板里的CPU和Memory两条曲线，资源是否下降、业务是否受影响一目了然。

最后开自动扩缩。参数稳定后打开HPA，把minReplicas设成能容忍单副本故障的最低值，峰值自动扩容、低峰自动缩容，比手动固定副本数更省。

这几个数字的共同点是都有压测基线托底，所以敢一步步往下砍，QPS也没有回退。

四、容易踩的坑

• 只限CPU不限内存：CPU申请降了，但内存limit还挂在高位，Pod照样占着节点的物理内存。正确做法是requests和limits的CPU、内存四个值成对设置。
• 副本数盲目减半：副本是容错余量，不看流量直接砍半，滚动升级时会把所有压力打到单副本上。正确做法是保留minReplicas不低于2，或者交给HPA去动态管理。
• 忽略流式场景的内存峰值：SSE这类流式响应单条请求占内存很小，但并发一高，连接缓冲总量很容易被低估。正确做法是AI流式业务上线前，专门做一次高并发压测再定connectionBufferLimits。

五、下一步可以做什么

• 接入监控：网关Pod注解里已默认开启Prometheus采集，接到集群的Grafana后重点看CPU与内存两条曲线。
• 设置告警阈值：对"内存持续超过limit的80%"这类指标配告警，这通常比OOM更早暴露问题。
• 评估插件开销：挂载的Wasm插件越多内存占用越高，把用不到的插件清理掉，也是实打实的资源优化。

等参数全部落位后，让监控面板再跑一周，确认曲线平稳，这轮资源优化才算真正落袋。

【免费下载链接】higress🤖 AI Gateway | AI Native API Gateway项目地址: https://gitcode.com/GitHub_Trending/hi/higress