php应用响应延迟20秒以上的问题排查
- 2026-11-19 21:17:11
- 丁国栋
- AI生成 15
PHP 应用访问缓慢排查记录
- 记录日期:2026-11-19
- 环境:内网测试环境
- 入口服务器:
oracle.oop.cc,10.0.4.18 - 操作系统:Ubuntu 24.04.5 LTS
- 现象:
http://azalea84.oracle.oop.cc/非常慢https://test84.oracle.oop.cc/较快,但仍比正常访问慢
- 结论:
azalea84的远程 MySQL 连接因服务端反向 DNS 解析超时,每个新建连接固定增加约 20 秒延迟。PHP-FPM、HTTP/HTTPS 和 Caddy 不是根因。
本文不记录任何认证凭据。
1. 访问链路
两个域名的入口链路相同:
浏览器
-> Caddy 容器 :80/:443
-> 宿主机 Nginx :81
-> 同一 PHP 8.4-FPM socket
-> 禅道应用
-> MySQL
HTTP 请求会被 Caddy 转换为 HTTPS:
http://azalea84.oracle.oop.cc/
-> 308 Permanent Redirect
-> https://azalea84.oracle.oop.cc/
因此 HTTP 入口本身看起来很快,浏览器跟随跳转后访问应用时才会遇到真正的后端延迟。
2. 两个站点的实际配置
Nginx 配置文件为 /etc/nginx/sites-enabled/zentao8.4,两个域名都引用同一份 /etc/nginx/zentao_8.4.conf:
| 项目 | test84 | azalea84 |
|---|---|---|
| 文档根目录 | /home/z/test/www |
/home/z/azalea/www |
| 应用根目录 | /home/z/test |
/home/z/azalea |
| 禅道版本类型 | biz |
ipd |
| 应用调试级别 | false |
5 |
| 数据库地址 | 127.0.0.1 |
df.oop.cc,解析到 10.0.4.5 |
| PHP-FPM | /run/php/php8.4-fpm.sock |
同一个 socket |
表面上看是“两个禅道应用部署方式相同”,但实际版本配置和数据库部署方式不同:
test84使用本机数据库。azalea84使用远程数据库。azalea84开启了debug=5,会输出 SQL 日志。该设置会增加部分日志开销,但不是本次 20 秒延迟的原因。
3. 分阶段验证结果
3.1 DNS 和入口连接正常
两个域名均解析到 10.0.4.18:
azalea84.oracle.oop.cc -> 10.0.4.18
test84.oracle.oop.cc -> 10.0.4.18
DNS 查询约 2 ms。HTTP 的 308 跳转约 2.6 ms,说明域名解析和 HTTP 入口没有明显问题。
3.2 跳过 HTTPS 和 Caddy,直接测试 Nginx 后端
通过 Host 头直接请求 Nginx 的 81 端口:
curl -sS -o /dev/null \
-H 'Host: test84.oracle.oop.cc' \
-w 'test status=%{http_code} ttfb=%{time_starttransfer} total=%{time_total}\n' \
http://127.0.0.1:81/
curl -sS -o /dev/null \
-H 'Host: azalea84.oracle.oop.cc' \
-w 'azalea status=%{http_code} ttfb=%{time_starttransfer} total=%{time_total}\n' \
http://127.0.0.1:81/
实测结果:
test84 status=302 ttfb=0.0224 s total=0.0225 s
azalea84 status=302 ttfb=20.1005 s total=20.1006 s
该步骤证明延迟位于 Nginx 之后的应用层,而不是 HTTP/HTTPS、TLS 或 Caddy。
3.3 对比完整 HTTPS 请求
通过域名请求:
curl -k -sS -o /dev/null \
-w 'status=%{http_code} dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
https://azalea84.oracle.oop.cc/
诊断期间的一次典型结果:
azalea84:
DNS=0.0044 s
TCP connect=0.0045 s
TLS=0.0131 s
TTFB=20.2696 s
test84:
DNS=0.0022 s
TCP connect=0.0023 s
TLS=0.0071 s
TTFB=0.0303 s
DNS、TCP 和 TLS 都正常,等待发生在服务端返回首字节之前。
3.4 对比 MySQL 新建连接
使用应用配置建立新的 PDO 连接,并分别记录建连、SELECT 1 和业务表查询耗时。结果为:
run=1 connect=20.021256 s select1=0.000770 s count=0.001166 s
run=2 connect=20.019714 s select1=0.000494 s count=0.000907 s
run=3 connect=20.015774 s select1=0.000516 s count=0.001097 s
run=4 connect=20.017548 s select1=0.000403 s count=0.000519 s
关键判断:
- 新建 MySQL 连接每次固定等待约 20.02 秒。
- 连接成功后,SQL 查询只需要约 0.5–7 ms。
azalea84每个 HTTP 请求创建新数据库连接,因此每个页面请求都被叠加约 20 秒。
4. 根因
数据库 df.oop.cc 实际运行 MySQL 8.0.46,参数为:
skip_name_resolve = OFF
MySQL 在客户端登录认证前,会尝试将客户端 IP 10.0.4.18 反向解析为主机名。该反向 DNS 查询失败或超时,导致每条新连接在此阶段等待约 20 秒。
数据库 performance_schema.host_cache 中可以观察到:
IP = 10.0.4.18
HOST = null
HOST_VALIDATED = NO
COUNT_NAMEINFO_TRANSIENT_ERRORS = 464
同时,SHOW FULL PROCESSLIST 中可以看到来自 10.0.4.18 的连接处于:
user=unauthenticated user
command=Connect
state=login
这与反向解析超时的判断一致。
根因链路可归纳为:
HTTP 页面请求
-> PHP 应用创建新的远程 MySQL 连接
-> MySQL 反向解析客户端 10.0.4.18
-> 反向 DNS 解析超时约 20 秒
-> 认证完成并执行 SQL
-> SQL 本身仅耗时 1–7 ms
-> 浏览器收到首字节
5. 修复方案
5.1 本次采用的方案
在数据库服务器 df.oop.cc 上执行:
SET PERSIST skip_name_resolve = ON;
TRUNCATE TABLE performance_schema.host_cache;
SHOW VARIABLES LIKE 'skip_name_resolve';
该方案让 MySQL 跳过客户端主机名反向解析,直接按 IP 进行连接处理和授权匹配。
本次修改前已核对数据库账号的 Host 范围,仅有:
%
localhost
没有依赖具体客户端主机名的账号,因此开启 skip_name_resolve 不会破坏现有账号授权。
5.2 配置持久化替代方案
如果当前 MySQL 版本不支持运行时持久化,可以在 MySQL 配置中加入:
[mysqld]
skip-name-resolve=ON
然后重启 MySQL。重启前应确认所有业务账号均使用 %、localhost、IP 或网段,而不是依赖 DNS 主机名。
5.3 DNS 修复方案
如果必须保留 skip_name_resolve=OFF,则需要修复 10.0.4.18 的反向解析,并保证正向、反向记录一致。修复后清空 MySQL 主机缓存:
TRUNCATE TABLE performance_schema.host_cache;
6. 修复后验证
6.1 验证数据库参数
SHOW VARIABLES LIKE 'skip_name_resolve';
SELECT IP, HOST, HOST_VALIDATED, COUNT_NAMEINFO_TRANSIENT_ERRORS
FROM performance_schema.host_cache
WHERE IP = '10.0.4.18';
预期:
skip_name_resolve = ON
6.2 验证页面响应
curl -k -sS -o /dev/null --max-time 10 \
-w 'status=%{http_code} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
https://azalea84.oracle.oop.cc/
修复后的实测结果:
首次请求:TTFB≈1.26 s
后续请求:TTFB≈0.085–0.095 s
test84 同期为:
TTFB≈0.031–0.081 s
azalea84 的后续响应仍有约 40–60 ms 的额外延迟,符合远程数据库与本机数据库之间的链路差异,已不再是 20 秒级异常。
7. PHP 8.4-FPM 参数调整规则和建议
7.1 当前结论
修复后检查结果:
pm = dynamic
pm.max_children = 50
pm.start_servers = 25
pm.min_spare_servers = 20
pm.max_spare_servers = 30
pm.max_requests = 5000
实际状态:
PHP 8.4-FPM 子进程:31
PHP 8.4-FPM cgroup 内存:约 2.58 GiB
系统可用内存:约 10 GiB
1 分钟负载:约 0.45
修复后未再出现新的以下告警:
server reached pm.max_children setting
pool seems busy
结论:当前不需要为了本次故障调整 PHP-FPM。
2026-11-18 曾出现的 FPM 告警是数据库慢连接的次生影响:每个请求占用一个 FPM 子进程 20 秒,并发请求不断堆积,最终触达 pm.max_children。数据库连接恢复后,该压力自然下降。不能根据当时的告警继续提高或降低 FPM 参数。
7.2 常用参数及作用
| 参数 | 作用 | 调大后的影响 | 调小后的影响 |
|---|---|---|---|
pm |
进程管理方式 | — | — |
pm.max_children |
最大并发 PHP 请求数 | 并发能力提高,但可能耗尽内存 | 内存下降,但高峰期容易出现 502/504 |
pm.start_servers |
启动时创建的子进程数 | 冷启动后处理突发请求更快,常驻内存更高 | 节省内存,突发请求时需动态创建进程 |
pm.min_spare_servers |
最少空闲进程数 | 突发请求响应更稳定,内存占用更高 | 节省内存,扩容时可能短暂等待 |
pm.max_spare_servers |
最多空闲进程数 | 保留更多热进程,内存占用更高 | 释放空闲内存,但可能频繁创建、销毁进程 |
pm.max_requests |
每个子进程处理多少次请求后重启 | 进程重启次数少,但 PHP 内存增长风险更高 | 内存更稳定,但进程重启开销增加 |
request_terminate_timeout |
单个请求最长执行时间 | 容忍更长任务,但异常请求会长期占用进程 | 防止进程卡死,但可能中断正常长任务 |
request_slowlog_timeout |
请求超过多久记录慢日志 | 只记录更严重的慢请求 | 更早发现慢请求,但日志可能增加 |
slowlog |
PHP-FPM 慢请求堆栈日志路径 | — | — |
listen.backlog |
等待 FPM 接受的连接队列 | 高峰期等待队列更大,但不能解决应用变慢 | 队列更小,可能更早出现连接错误 |
7.3 三种进程管理方式
dynamic
pm = dynamic
适合大多数生产和测试环境。空闲进程不足时自动扩张,空闲进程过多时自动回收,是默认推荐方式。
static
pm = static
pm.max_children = N
固定保持 N 个 PHP 子进程,不动态伸缩。适合流量稳定、并发较高、内存充足的场景。低流量测试环境使用 static 会长期浪费内存。
ondemand
pm = ondemand
pm.max_children = N
pm.process_idle_timeout = 10s
有请求时才创建子进程,空闲后回收,内存占用最低。缺点是流量空闲后的首批请求可能出现冷启动延迟。对偶发访问但要求响应稳定的禅道测试环境,一般仍建议使用 dynamic。
7.4 max_children 的计算规则
应同时满足内存上限和并发需求:
max_children ≤ 可用内存 / 单进程内存
max_children ≥ 峰值并发请求数
例如:
- 单进程典型内存:80–100 MiB
- 预计为 PHP-FPM 分配:4–5 GiB
- 可设置
max_children ≈ 40–50
也可以根据请求量估算:
所需进程数 ≈ QPS × 平均请求耗时(秒)
例如 50 QPS、平均请求耗时 100 ms:
50 × 0.1 = 5 个并发进程
这种情况下,50 个最大进程已经足够覆盖明显的突发流量。
不要直接用所有 PHP 子进程的 RSS 相加作为内存预算,因为动态库和代码页会在多个进程间共享。应优先参考 PHP-FPM 服务 cgroup 的实际内存和持续运行时峰值。
本次检查中有一个空闲或历史请求遗留的子进程约 610 MiB,其他子进程一般为 65–95 MiB。当前整体资源仍充足;如果以后持续出现多个大内存子进程,应同时检查应用内存峰值和 max_requests。
7.5 start_servers 和 spare 参数建议
通常建议保持以下关系:
min_spare_servers
≤ start_servers
≤ max_spare_servers
< max_children
经验范围:
start_servers:约为max_children的 10%–30%min_spare_servers:约为max_children的 5%–20%max_spare_servers:约为max_children的 20%–50%
当前环境中 start_servers=25 对 50 个最大进程来说偏高,更接近始终保留热进程的配置。服务器资源充足时没有问题;如果测试环境以节省内存为先,可以降到 10 左右。
不要同时把 min_spare_servers 和 max_spare_servers 定得很低,否则流量突增时会出现频繁创建 PHP 进程的现象。
7.6 max_requests 建议
常见范围:
- 普通 Web 应用:
500–1000 - 请求量不高、以稳定为先:
1000–2000 - 存在特殊长连接或框架需求:可以更高
max_requests 主要用于防止 PHP 扩展或第三方代码导致进程内存持续增长。
当前值为 5000,不是错误配置。如果发现 FPM 内存随着运行时间持续上涨,可以将 pm.max_requests 从 5000 降到 1000 或 2000,使子进程更早回收。
7.7 请求超时和慢日志建议
request_terminate_timeout 应根据最长合法业务请求设置。例如:
request_terminate_timeout = 300s
Nginx 的 FastCGI 超时应略长于 PHP-FPM,例如:
fastcgi_connect_timeout 10s;
fastcgi_send_timeout 310s;
fastcgi_read_timeout 310s;
不要在没有确认业务最长任务时间的情况下设置很小的值,否则禅道导入、导出或大数据操作可能被强制终止。
当前 Nginx 的 FastCGI 超时配置非常大。它不是本次故障根因,但会导致异常 PHP 请求长期占用子进程。建议以后结合实际业务最长执行时间统一梳理。
为了后续排查,建议开启 PHP-FPM 慢请求日志:
request_slowlog_timeout = 5s
slowlog = /var/log/php8.4-fpm-slow.log
慢日志会给出请求执行到的 PHP 文件、函数和行号,比单纯看到 HTTP 超时更有价值。阈值不宜设置过低,否则日志量会明显增加。
7.8 当前环境的具体建议
当前不需要修改 pm.max_children。修复后的 FPM 压力和内存状态正常,继续提高参数不能解决任何现存问题。
如果只是为了降低测试环境常驻内存,可以考虑把空闲池改小,例如:
pm = dynamic
pm.max_children = 50
pm.start_servers = 10
pm.min_spare_servers = 5
pm.max_spare_servers = 15
pm.max_requests = 1000
该配置仍保留 50 个最大进程,只减少常驻空闲进程和单进程累计请求数。它是资源优化,不是本次故障的必要修复。
后续仅在以下情况出现时再考虑调整容量参数:
- 日志持续出现
server reached pm.max_children setting (50)。 - 可用内存长期低于约 2 GiB,或持续使用 Swap。
- 并发长期接近 50,同时应用请求本身响应已经很快。
- FPM 内存随着运行时间持续上涨。
7.9 调整判断规则
- 出现
max_children告警且内存余量充足:可以适当提高max_children。 - 出现
max_children告警但内存紧张或使用 Swap:不要继续提高,应优化应用、拆分 FPM 池或增加内存。 - 单个站点慢,其他使用同一 FPM pool 的站点正常:优先检查该站点的数据库、应用代码和配置。
- 大量空闲子进程、CPU 和并发都不高:调小
start_servers、min_spare_servers、max_spare_servers。 - 高峰出现 FPM 繁忙,但平时资源浪费较多:保持
max_children,减少启动和空闲进程数。 - 子进程内存随运行时间持续上涨:降低
max_requests,并检查 PHP 扩展和应用内存泄漏。 - 慢请求长期占用进程并耗尽
max_children:先定位数据库、DNS、外部接口等阻塞点,不能只增加 FPM 进程数。 - 出现冷启动慢且内存充足:避免使用
ondemand,选择dynamic并适当提高start_servers或min_spare_servers。
7.10 调整和验证流程
建议每次只修改一组相关参数,并在修改前备份配置。完成修改后执行:
sudo php-fpm8.4 -tt
sudo systemctl reload php8.4-fpm
php-fpm8.4 -tt 用于验证配置,使用 reload 平滑加载,不必直接重启服务。
调整后至少观察 15–30 分钟,最好覆盖业务高峰,并检查:
sudo tail -100 /var/log/php8.4-fpm.log
free -h
uptime
重点确认是否仍有 max_children、pool seems busy、FPM 初始化失败或内存持续上涨。
8. 其他观察
azalea84当前配置debug=5,会生成 SQL 调试日志。它不是本次 20 秒延迟的根因,但测试稳定后建议恢复为非调试模式,降低日志量和 I/O。- 两个站点的禅道版本类型不同:
test84为biz,azalea84为ipd。比较问题时,不能只检查 Nginx 和 PHP-FPM 是否相同,还必须检查数据库、应用版本和业务配置。 - 将数据库地址从域名改成 IP 不能解决本次问题,因为延迟发生在 MySQL 服务端对客户端 IP 的反向解析阶段。
- Caddy、Nginx 的超时设置不是根因。仅仅增大或减小超时参数不会消除 20 秒等待。
9. 可复用的排查清单
遇到“一个站点慢、另一个站点正常”时,可以按以下顺序排查:
- 从客户端和服务器内部分别测量完整请求,记录 DNS、TCP、TLS、TTFB 和总耗时。
- 使用
curl -H 'Host: <域名>' http://127.0.0.1:<后端端口>/绕过外层代理,定位问题是否在应用层。 - 检查反向代理、Nginx 虚拟主机和 PHP-FPM socket,确认两个站点是否真正共用后端。
- 对比应用文档根目录、版本文件、
config/my.php和数据库地址;只对比“部署方式”不足以证明环境相同。 - 对远程数据库,比较“新建连接耗时”和“连接后查询耗时”,不要只测试已有连接上的 SQL。
检查 MySQL:
SHOW VARIABLES LIKE 'skip_name_resolve'; SHOW FULL PROCESSLIST; SELECT * FROM performance_schema.host_cache;重点观察
HOST=null、HOST_VALIDATED=NO和COUNT_NAMEINFO_TRANSIENT_ERRORS是否持续增长。- 修复数据库连接问题后再次测量页面 TTFB,并检查 PHP-FPM 的
max_children告警是否自然消失。 - 只有在应用响应已正常、FPM 仍持续饱和或内存持续压力时,才调整 FPM 参数。
10. 最终结论
本次慢请求与 HTTP/HTTPS 协议无关,也不是 PHP-FPM 参数导致的。根因是 azalea84 使用远程 MySQL,而 MySQL 服务端开启客户端名称解析后无法在合理时间内完成 10.0.4.18 的反向解析,导致每个新连接固定等待约 20 秒。
通过设置 skip_name_resolve=ON 并清空 MySQL 主机缓存后,连接阶段的 20 秒等待已消除。当前 PHP 8.4-FPM 参数和系统资源状态正常,建议保持现状并继续观察实际并发和内存使用。
还没有评论,来做第一个吧!