php应用响应延迟20秒以上的问题排查

2026-11-19 21:17:11
丁国栋
AI生成 15
摘要:记录一次php应用响应延迟20秒以上的问题排查

PHP 应用访问缓慢排查记录

  • 记录日期:2026-11-19
  • 环境:内网测试环境
  • 入口服务器:oracle.oop.cc,10.0.4.18
  • 操作系统:Ubuntu 24.04.5 LTS
  • 现象:
    • http://azalea84.oracle.oop.cc/ 非常慢
    • https://test84.oracle.oop.cc/ 较快,但仍比正常访问慢
  • 结论:azalea84 的远程 MySQL 连接因服务端反向 DNS 解析超时,每个新建连接固定增加约 20 秒延迟。PHP-FPM、HTTP/HTTPS 和 Caddy 不是根因。

本文不记录任何认证凭据。

1. 访问链路

两个域名的入口链路相同:

浏览器
  -> Caddy 容器 :80/:443
  -> 宿主机 Nginx :81
  -> 同一 PHP 8.4-FPM socket
  -> 禅道应用
  -> MySQL

HTTP 请求会被 Caddy 转换为 HTTPS:

http://azalea84.oracle.oop.cc/
  -> 308 Permanent Redirect
  -> https://azalea84.oracle.oop.cc/

因此 HTTP 入口本身看起来很快,浏览器跟随跳转后访问应用时才会遇到真正的后端延迟。

2. 两个站点的实际配置

Nginx 配置文件为 /etc/nginx/sites-enabled/zentao8.4,两个域名都引用同一份 /etc/nginx/zentao_8.4.conf:

项目 test84 azalea84
文档根目录 /home/z/test/www /home/z/azalea/www
应用根目录 /home/z/test /home/z/azalea
禅道版本类型 biz ipd
应用调试级别 false 5
数据库地址 127.0.0.1 df.oop.cc,解析到 10.0.4.5
PHP-FPM /run/php/php8.4-fpm.sock 同一个 socket

表面上看是“两个禅道应用部署方式相同”,但实际版本配置和数据库部署方式不同:

  • test84 使用本机数据库。
  • azalea84 使用远程数据库。
  • azalea84 开启了 debug=5,会输出 SQL 日志。该设置会增加部分日志开销,但不是本次 20 秒延迟的原因。

3. 分阶段验证结果

3.1 DNS 和入口连接正常

两个域名均解析到 10.0.4.18:

azalea84.oracle.oop.cc -> 10.0.4.18
test84.oracle.oop.cc   -> 10.0.4.18

DNS 查询约 2 ms。HTTP 的 308 跳转约 2.6 ms,说明域名解析和 HTTP 入口没有明显问题。

3.2 跳过 HTTPS 和 Caddy,直接测试 Nginx 后端

通过 Host 头直接请求 Nginx 的 81 端口:

curl -sS -o /dev/null \
  -H 'Host: test84.oracle.oop.cc' \
  -w 'test status=%{http_code} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  http://127.0.0.1:81/
curl -sS -o /dev/null \
  -H 'Host: azalea84.oracle.oop.cc' \
  -w 'azalea status=%{http_code} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  http://127.0.0.1:81/

实测结果:

test84   status=302  ttfb=0.0224 s  total=0.0225 s
azalea84 status=302  ttfb=20.1005 s total=20.1006 s

该步骤证明延迟位于 Nginx 之后的应用层,而不是 HTTP/HTTPS、TLS 或 Caddy。

3.3 对比完整 HTTPS 请求

通过域名请求:

curl -k -sS -o /dev/null \
  -w 'status=%{http_code} dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  https://azalea84.oracle.oop.cc/

诊断期间的一次典型结果:

azalea84:
  DNS=0.0044 s
  TCP connect=0.0045 s
  TLS=0.0131 s
  TTFB=20.2696 s
test84:
  DNS=0.0022 s
  TCP connect=0.0023 s
  TLS=0.0071 s
  TTFB=0.0303 s

DNS、TCP 和 TLS 都正常,等待发生在服务端返回首字节之前。

3.4 对比 MySQL 新建连接

使用应用配置建立新的 PDO 连接,并分别记录建连、SELECT 1 和业务表查询耗时。结果为:

run=1 connect=20.021256 s  select1=0.000770 s  count=0.001166 s
run=2 connect=20.019714 s  select1=0.000494 s  count=0.000907 s
run=3 connect=20.015774 s  select1=0.000516 s  count=0.001097 s
run=4 connect=20.017548 s  select1=0.000403 s  count=0.000519 s

关键判断:

  • 新建 MySQL 连接每次固定等待约 20.02 秒。
  • 连接成功后,SQL 查询只需要约 0.5–7 ms。
  • azalea84 每个 HTTP 请求创建新数据库连接,因此每个页面请求都被叠加约 20 秒。

4. 根因

数据库 df.oop.cc 实际运行 MySQL 8.0.46,参数为:

skip_name_resolve = OFF

MySQL 在客户端登录认证前,会尝试将客户端 IP 10.0.4.18 反向解析为主机名。该反向 DNS 查询失败或超时,导致每条新连接在此阶段等待约 20 秒。

数据库 performance_schema.host_cache 中可以观察到:

IP                               = 10.0.4.18
HOST                             = null
HOST_VALIDATED                   = NO
COUNT_NAMEINFO_TRANSIENT_ERRORS  = 464

同时,SHOW FULL PROCESSLIST 中可以看到来自 10.0.4.18 的连接处于:

user=unauthenticated user
command=Connect
state=login

这与反向解析超时的判断一致。

根因链路可归纳为:

HTTP 页面请求
  -> PHP 应用创建新的远程 MySQL 连接
  -> MySQL 反向解析客户端 10.0.4.18
  -> 反向 DNS 解析超时约 20 秒
  -> 认证完成并执行 SQL
  -> SQL 本身仅耗时 1–7 ms
  -> 浏览器收到首字节

5. 修复方案

5.1 本次采用的方案

在数据库服务器 df.oop.cc 上执行:

SET PERSIST skip_name_resolve = ON;
TRUNCATE TABLE performance_schema.host_cache;
SHOW VARIABLES LIKE 'skip_name_resolve';

该方案让 MySQL 跳过客户端主机名反向解析,直接按 IP 进行连接处理和授权匹配。

本次修改前已核对数据库账号的 Host 范围,仅有:

%
localhost

没有依赖具体客户端主机名的账号,因此开启 skip_name_resolve 不会破坏现有账号授权。

5.2 配置持久化替代方案

如果当前 MySQL 版本不支持运行时持久化,可以在 MySQL 配置中加入:

[mysqld]
skip-name-resolve=ON

然后重启 MySQL。重启前应确认所有业务账号均使用 %、localhost、IP 或网段,而不是依赖 DNS 主机名。

5.3 DNS 修复方案

如果必须保留 skip_name_resolve=OFF,则需要修复 10.0.4.18 的反向解析,并保证正向、反向记录一致。修复后清空 MySQL 主机缓存:

TRUNCATE TABLE performance_schema.host_cache;

6. 修复后验证

6.1 验证数据库参数

SHOW VARIABLES LIKE 'skip_name_resolve';
SELECT IP, HOST, HOST_VALIDATED, COUNT_NAMEINFO_TRANSIENT_ERRORS
FROM performance_schema.host_cache
WHERE IP = '10.0.4.18';

预期:

skip_name_resolve = ON

6.2 验证页面响应

curl -k -sS -o /dev/null --max-time 10 \
  -w 'status=%{http_code} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  https://azalea84.oracle.oop.cc/

修复后的实测结果:

首次请求:TTFB≈1.26 s
后续请求:TTFB≈0.085–0.095 s

test84 同期为:

TTFB≈0.031–0.081 s

azalea84 的后续响应仍有约 40–60 ms 的额外延迟,符合远程数据库与本机数据库之间的链路差异,已不再是 20 秒级异常。

7. PHP 8.4-FPM 参数调整规则和建议

7.1 当前结论

修复后检查结果:

pm = dynamic
pm.max_children = 50
pm.start_servers = 25
pm.min_spare_servers = 20
pm.max_spare_servers = 30
pm.max_requests = 5000

实际状态:

PHP 8.4-FPM 子进程:31
PHP 8.4-FPM cgroup 内存:约 2.58 GiB
系统可用内存:约 10 GiB
1 分钟负载:约 0.45

修复后未再出现新的以下告警:

server reached pm.max_children setting
pool seems busy

结论:当前不需要为了本次故障调整 PHP-FPM。

2026-11-18 曾出现的 FPM 告警是数据库慢连接的次生影响:每个请求占用一个 FPM 子进程 20 秒,并发请求不断堆积,最终触达 pm.max_children。数据库连接恢复后,该压力自然下降。不能根据当时的告警继续提高或降低 FPM 参数。

7.2 常用参数及作用

参数 作用 调大后的影响 调小后的影响
pm 进程管理方式 — —
pm.max_children 最大并发 PHP 请求数 并发能力提高,但可能耗尽内存 内存下降,但高峰期容易出现 502/504
pm.start_servers 启动时创建的子进程数 冷启动后处理突发请求更快,常驻内存更高 节省内存,突发请求时需动态创建进程
pm.min_spare_servers 最少空闲进程数 突发请求响应更稳定,内存占用更高 节省内存,扩容时可能短暂等待
pm.max_spare_servers 最多空闲进程数 保留更多热进程,内存占用更高 释放空闲内存,但可能频繁创建、销毁进程
pm.max_requests 每个子进程处理多少次请求后重启 进程重启次数少,但 PHP 内存增长风险更高 内存更稳定,但进程重启开销增加
request_terminate_timeout 单个请求最长执行时间 容忍更长任务,但异常请求会长期占用进程 防止进程卡死,但可能中断正常长任务
request_slowlog_timeout 请求超过多久记录慢日志 只记录更严重的慢请求 更早发现慢请求,但日志可能增加
slowlog PHP-FPM 慢请求堆栈日志路径 — —
listen.backlog 等待 FPM 接受的连接队列 高峰期等待队列更大,但不能解决应用变慢 队列更小,可能更早出现连接错误

7.3 三种进程管理方式

dynamic

pm = dynamic

适合大多数生产和测试环境。空闲进程不足时自动扩张,空闲进程过多时自动回收,是默认推荐方式。

static

pm = static
pm.max_children = N

固定保持 N 个 PHP 子进程,不动态伸缩。适合流量稳定、并发较高、内存充足的场景。低流量测试环境使用 static 会长期浪费内存。

ondemand

pm = ondemand
pm.max_children = N
pm.process_idle_timeout = 10s

有请求时才创建子进程,空闲后回收,内存占用最低。缺点是流量空闲后的首批请求可能出现冷启动延迟。对偶发访问但要求响应稳定的禅道测试环境,一般仍建议使用 dynamic。

7.4 max_children 的计算规则

应同时满足内存上限和并发需求:

max_children ≤ 可用内存 / 单进程内存
max_children ≥ 峰值并发请求数

例如:

  • 单进程典型内存:80–100 MiB
  • 预计为 PHP-FPM 分配:4–5 GiB
  • 可设置 max_children ≈ 40–50

也可以根据请求量估算:

所需进程数 ≈ QPS × 平均请求耗时(秒)

例如 50 QPS、平均请求耗时 100 ms:

50 × 0.1 = 5 个并发进程

这种情况下,50 个最大进程已经足够覆盖明显的突发流量。

不要直接用所有 PHP 子进程的 RSS 相加作为内存预算,因为动态库和代码页会在多个进程间共享。应优先参考 PHP-FPM 服务 cgroup 的实际内存和持续运行时峰值。

本次检查中有一个空闲或历史请求遗留的子进程约 610 MiB,其他子进程一般为 65–95 MiB。当前整体资源仍充足;如果以后持续出现多个大内存子进程,应同时检查应用内存峰值和 max_requests。

7.5 start_servers 和 spare 参数建议

通常建议保持以下关系:

min_spare_servers
    ≤ start_servers
    ≤ max_spare_servers
    < max_children

经验范围:

  • start_servers:约为 max_children 的 10%–30%
  • min_spare_servers:约为 max_children 的 5%–20%
  • max_spare_servers:约为 max_children 的 20%–50%

当前环境中 start_servers=25 对 50 个最大进程来说偏高,更接近始终保留热进程的配置。服务器资源充足时没有问题;如果测试环境以节省内存为先,可以降到 10 左右。

不要同时把 min_spare_servers 和 max_spare_servers 定得很低,否则流量突增时会出现频繁创建 PHP 进程的现象。

7.6 max_requests 建议

常见范围:

  • 普通 Web 应用:500–1000
  • 请求量不高、以稳定为先:1000–2000
  • 存在特殊长连接或框架需求:可以更高

max_requests 主要用于防止 PHP 扩展或第三方代码导致进程内存持续增长。

当前值为 5000,不是错误配置。如果发现 FPM 内存随着运行时间持续上涨,可以将 pm.max_requests 从 5000 降到 1000 或 2000,使子进程更早回收。

7.7 请求超时和慢日志建议

request_terminate_timeout 应根据最长合法业务请求设置。例如:

request_terminate_timeout = 300s

Nginx 的 FastCGI 超时应略长于 PHP-FPM,例如:

fastcgi_connect_timeout 10s;
fastcgi_send_timeout    310s;
fastcgi_read_timeout    310s;

不要在没有确认业务最长任务时间的情况下设置很小的值,否则禅道导入、导出或大数据操作可能被强制终止。

当前 Nginx 的 FastCGI 超时配置非常大。它不是本次故障根因,但会导致异常 PHP 请求长期占用子进程。建议以后结合实际业务最长执行时间统一梳理。

为了后续排查,建议开启 PHP-FPM 慢请求日志:

request_slowlog_timeout = 5s
slowlog = /var/log/php8.4-fpm-slow.log

慢日志会给出请求执行到的 PHP 文件、函数和行号,比单纯看到 HTTP 超时更有价值。阈值不宜设置过低,否则日志量会明显增加。

7.8 当前环境的具体建议

当前不需要修改 pm.max_children。修复后的 FPM 压力和内存状态正常,继续提高参数不能解决任何现存问题。

如果只是为了降低测试环境常驻内存,可以考虑把空闲池改小,例如:

pm = dynamic
pm.max_children = 50
pm.start_servers = 10
pm.min_spare_servers = 5
pm.max_spare_servers = 15
pm.max_requests = 1000

该配置仍保留 50 个最大进程,只减少常驻空闲进程和单进程累计请求数。它是资源优化,不是本次故障的必要修复。

后续仅在以下情况出现时再考虑调整容量参数:

  • 日志持续出现 server reached pm.max_children setting (50)。
  • 可用内存长期低于约 2 GiB,或持续使用 Swap。
  • 并发长期接近 50,同时应用请求本身响应已经很快。
  • FPM 内存随着运行时间持续上涨。

7.9 调整判断规则

  • 出现 max_children 告警且内存余量充足:可以适当提高 max_children。
  • 出现 max_children 告警但内存紧张或使用 Swap:不要继续提高,应优化应用、拆分 FPM 池或增加内存。
  • 单个站点慢,其他使用同一 FPM pool 的站点正常:优先检查该站点的数据库、应用代码和配置。
  • 大量空闲子进程、CPU 和并发都不高:调小 start_servers、min_spare_servers、max_spare_servers。
  • 高峰出现 FPM 繁忙,但平时资源浪费较多:保持 max_children,减少启动和空闲进程数。
  • 子进程内存随运行时间持续上涨:降低 max_requests,并检查 PHP 扩展和应用内存泄漏。
  • 慢请求长期占用进程并耗尽 max_children:先定位数据库、DNS、外部接口等阻塞点,不能只增加 FPM 进程数。
  • 出现冷启动慢且内存充足:避免使用 ondemand,选择 dynamic 并适当提高 start_servers 或 min_spare_servers。

7.10 调整和验证流程

建议每次只修改一组相关参数,并在修改前备份配置。完成修改后执行:

sudo php-fpm8.4 -tt
sudo systemctl reload php8.4-fpm

php-fpm8.4 -tt 用于验证配置,使用 reload 平滑加载,不必直接重启服务。

调整后至少观察 15–30 分钟,最好覆盖业务高峰,并检查:

sudo tail -100 /var/log/php8.4-fpm.log
free -h
uptime

重点确认是否仍有 max_children、pool seems busy、FPM 初始化失败或内存持续上涨。

8. 其他观察

  • azalea84 当前配置 debug=5,会生成 SQL 调试日志。它不是本次 20 秒延迟的根因,但测试稳定后建议恢复为非调试模式,降低日志量和 I/O。
  • 两个站点的禅道版本类型不同:test84 为 biz,azalea84 为 ipd。比较问题时,不能只检查 Nginx 和 PHP-FPM 是否相同,还必须检查数据库、应用版本和业务配置。
  • 将数据库地址从域名改成 IP 不能解决本次问题,因为延迟发生在 MySQL 服务端对客户端 IP 的反向解析阶段。
  • Caddy、Nginx 的超时设置不是根因。仅仅增大或减小超时参数不会消除 20 秒等待。

9. 可复用的排查清单

遇到“一个站点慢、另一个站点正常”时,可以按以下顺序排查:

  1. 从客户端和服务器内部分别测量完整请求,记录 DNS、TCP、TLS、TTFB 和总耗时。
  2. 使用 curl -H 'Host: <域名>' http://127.0.0.1:<后端端口>/ 绕过外层代理,定位问题是否在应用层。
  3. 检查反向代理、Nginx 虚拟主机和 PHP-FPM socket,确认两个站点是否真正共用后端。
  4. 对比应用文档根目录、版本文件、config/my.php 和数据库地址;只对比“部署方式”不足以证明环境相同。
  5. 对远程数据库,比较“新建连接耗时”和“连接后查询耗时”,不要只测试已有连接上的 SQL。
  6. 检查 MySQL:

    SHOW VARIABLES LIKE 'skip_name_resolve';
    SHOW FULL PROCESSLIST;
    SELECT * FROM performance_schema.host_cache;
    
  7. 重点观察 HOST=null、HOST_VALIDATED=NO 和 COUNT_NAMEINFO_TRANSIENT_ERRORS 是否持续增长。

  8. 修复数据库连接问题后再次测量页面 TTFB,并检查 PHP-FPM 的 max_children 告警是否自然消失。
  9. 只有在应用响应已正常、FPM 仍持续饱和或内存持续压力时,才调整 FPM 参数。

10. 最终结论

本次慢请求与 HTTP/HTTPS 协议无关,也不是 PHP-FPM 参数导致的。根因是 azalea84 使用远程 MySQL,而 MySQL 服务端开启客户端名称解析后无法在合理时间内完成 10.0.4.18 的反向解析,导致每个新连接固定等待约 20 秒。

通过设置 skip_name_resolve=ON 并清空 MySQL 主机缓存后,连接阶段的 20 秒等待已消除。当前 PHP 8.4-FPM 参数和系统资源状态正常,建议保持现状并继续观察实际并发和内存使用。

还没有评论,来做第一个吧!

称呼
邮箱
博客分类