本文介绍如何通过group by配合聚合函数快速提取海量日志表中每日的最小id、最大id及日期，避免低效排序，显著提升千万级数据的每日汇总性能。
本文介绍如何通过group by配合聚合函数快速提取海量日志表中每日的最小id、最大id及日期，避免低效排序，显著提升千万级数据的每日汇总性能。
在处理2020–2022年跨度、日均60万+行的历史日志表（如logs）时，若采用ORDER BY date/id LIMIT 1或逐日SELECT ... WHERE date = '2023-01-01' ORDER BY id等方式获取每日首尾ID，将因全表扫描与排序引发严重性能瓶颈——尤其在未建立合适索引的情况下，单次查询可能耗时数分钟，无法满足定时任务（PHP cron）的稳定执行需求。
最优解：利用索引友好的聚合查询
核心思路是放弃“排序取极值”，转而使用基于分组的聚合计算。只要date和id字段存在合理索引，以下SQL可在毫秒级完成全量统计：
SELECT DATE(created_at) AS date, -- 假设时间字段为 created_at（请按实际列名调整） MIN(id) AS first_id, MAX(id) AS last_id FROM logs GROUP BY DATE(created_at) ORDER BY date;
✅ 为什么高效？
- GROUP BY date天然按日期分桶，无需显式ORDER BY即可有序输出（配合ORDER BY date仅作最终排序，开销极小）；
- MIN(id)/MAX(id)是索引可优化的聚合操作，MySQL/PostgreSQL等主流数据库在id有索引时能直接从B+树叶节点边界获取极值，避免全行扫描；
- 一次查询完成全部历史数据汇总，无需循环或分页，大幅减少I/O与网络往返。
? 关键优化前提（务必执行）：
-
复合索引加速（强烈推荐）：
CREATE INDEX idx_logs_date_id ON logs (DATE(created_at), id);
或若date为独立日期字段（非DATETIME），则建：
CREATE INDEX idx_logs_date_id ON logs (date, id);
- 确保id为主键或有单独索引（通常默认满足）；
- 若created_at为DATETIME类型，DATE(created_at)需注意：MySQL 5.7+支持函数索引（8.0+更佳），否则建议新增生成列log_date DATE AS (DATE(created_at)) STORED并为其建索引。
? PHP定时任务集成示例（cron每日执行）：
// daily_summary.php —— 每日增量写入汇总表
$pdo = new PDO($dsn, $user, $pass);
// 只处理昨日数据，避免重复
$yesterday = date('Y-m-d', strtotime('-1 day'));
$stmt = $pdo->prepare("
INSERT INTO log_daily_summary (date, first_id, last_id)
SELECT DATE(created_at), MIN(id), MAX(id)
FROM logs
WHERE DATE(created_at) = ?
GROUP BY DATE(created_at)
");
$stmt->execute([$yesterday]);⚠️ 注意事项：
- 首次全量初始化时，可直接运行无WHERE条件的GROUP BY语句填充历史数据；
- 若存在单日id不连续或逻辑删除（如status=0），需在WHERE中追加过滤条件（如AND status = 1）；
- 对超大表（如单日>1000万行），可考虑分区表（按date RANGE分区）进一步提升查询效率。
综上，抛弃“排序取头尾”的惯性思维，拥抱GROUP BY + MIN/MAX这一索引友好型聚合模式，辅以精准索引设计，即可在秒级内完成跨年千万级日志的每日首尾ID统计，完美支撑稳定可靠的自动化汇总任务。
