本文介绍如何在 go + mongodb（mgo 驱动）+ beego 框架下，针对员工文档中分散在多个嵌套数组（如 annualleave、medicalleave 等）的请假数据，实现跨文档、跨数组的全局分页查询，避免全量加载与内存拼接，显著提升性能。
本文介绍如何在 go + mongodb（mgo 驱动）+ beego 框架下，针对员工文档中分散在多个嵌套数组（如 annualleave、medicalleave 等）的请假数据，实现跨文档、跨数组的全局分页查询，避免全量加载与内存拼接，显著提升性能。
在实际业务中，当员工请假数据以嵌套数组形式（如 AnnualLeave、MedicalLeave、NopayLeave 等）存储于单个 Employee 文档内时，若需按 applieddate 和 status 全局排序并分页（例如每页 20 条），直接在应用层遍历所有员工、展开所有 leave 数组、合并排序再切片——这种做法存在严重性能瓶颈：每次请求都需加载全部员工及全部请假记录，内存与 CPU 开销随数据增长线性上升，且无法利用 MongoDB 索引加速。
根本解法：重构数据模型，实现「扁平化 + 关系化」存储
MongoDB 的分页能力（Skip()/Limit()）和排序（Sort()）仅对集合级文档生效。因此，必须将原本嵌套在 Employee 文档中的各类 leave 数据，提取为独立的 Leave 集合，并建立清晰的归属关系：
// 独立的 Leave 模型（推荐统一结构）
type Leave struct {
ID bson.ObjectId `bson:"_id,omitempty"`
EmpID string `bson:"empid"` // 关联员工唯一标识（非 _id，而是 empid 字段）
Name string `bson:"name"` // 员工姓名（冗余，便于查询无需 join）
Type string `bson:"type"` // "annual", "medical", "nopay", "childcare" 等
Total float64 `bson:"total,omitempty"`
Days float64 `bson:"days"`
From time.Time `bson:"from"`
To time.Time `bson:"to"`
AppliedDate time.Time `bson:"applieddate"`
Status string `bson:"status"`
Certificate []Certificate `bson:"certificate"`
}
type Certificate struct {
Filename string `bson:"filename"`
Filetype string `bson:"filetype"`
Filesize int64 `bson:"filesize"`
}✅ 关键设计优势：
- 所有请假记录扁平化为
leaves集合中的独立文档； -
EmpID字段作为外键，支持快速按员工过滤； -
Type字段保留原始分类语义； -
AppliedDate和Status可建立复合索引，支撑高效排序分页。
创建高效索引（必需步骤）
在 MongoDB Shell 或初始化脚本中执行：
// 支持「全局分页」：按申请时间倒序 + 状态升序
db.leaves.createIndex({ "applieddate": -1, "status": 1 })
// 支持「某员工分页」：先定位员工，再按时间/状态排序
db.leaves.createIndex({ "empid": 1, "applieddate": -1, "status": 1 })Go 后端分页查询实现（mgo）
import (
"gopkg.in/mgo.v2"
"gopkg.in/mgo.v2/bson"
)
// 分页查询所有请假记录（全局）
func GetAllLeavesPaginated(session *mgo.Session, page, pageSize int) ([]Leave, error) {
c := session.DB("").C("leaves")
skip := (page - 1) * pageSize
var results []Leave
err := c.Find(nil).
Sort("-applieddate", "status"). // 注意：-applieddate 表示降序
Skip(skip).
Limit(pageSize).
All(&results)
return results, err
}
// 分页查询某员工的请假记录
func GetLeavesByEmpIDPaginated(session *mgo.Session, empID string, page, pageSize int) ([]Leave, error) {
c := session.DB("").C("leaves")
skip := (page - 1) * pageSize
var results []Leave
err := c.Find(bson.M{"empid": empID}).
Sort("-applieddate", "status").
Skip(skip).
Limit(pageSize).
All(&results)
return results, err
}⚠️ 重要注意事项：
-
Skip 性能警告：
Skip(N)在大数据集（如百万级）下会扫描前 N 条文档，效率随页码增大而急剧下降。生产环境建议改用 基于游标的分页（Cursor-based Pagination），即记录上一页最后一条的(applieddate, status, _id)作为下一页查询条件：// 示例：查询“比上一页最后一条更新或同时间但状态更靠前”的下 20 条 c.Find(bson.M{ "$or": []bson.M{ {"applieddate": bson.M{"$lt": last.AppliedDate}}, {"applieddate": last.AppliedDate, "status": bson.M{"$lt": last.Status}}, {"applieddate": last.AppliedDate, "status": last.Status, "_id": bson.M{"$gt": last.ID}}, }, }).Sort("-applieddate", "status").Limit(20).All(&results) -
迁移策略：已有数据需通过脚本一次性迁移。可使用
mgo的Pipe()聚合管道（$unwind+$project）从employees集合中抽取 leave 数据写入leaves集合。 -
Beego 集成：在 Controller 中调用上述函数，将
page和pageSize从 HTTP Query 参数解析，返回 JSON 响应即可。
总结
放弃在应用层拼接嵌套数组的低效方案，转向「集合扁平化 + 索引优化 + 游标分页」是 MongoDB 场景下的最佳实践。该方案不仅解决了当前分页性能问题，还提升了数据一致性、可扩展性与可维护性——后续新增请假类型、统计分析、权限控制等需求均可自然延伸。
