本文介绍如何通过重构数据模型与使用 MongoDB 聚合管道 + Skip/Limit，在 Go（mgo）中高效实现全公司所有员工各类请假记录（年假、病假、无薪假等）的统一分页查询，避免内存遍历与全量加载。
本文介绍如何通过重构数据模型与使用 mongodb 聚合管道 + `skip`/`limit`，在 go（mgo）中高效实现全公司所有员工各类请假记录（年假、病假、无薪假等）的统一分页查询，避免内存遍历与全量加载。
在当前嵌套式文档结构中（如 Employee 结构体中包含 AnnualLeave, MedicalLeave 等切片），若需对“全库所有员工的所有请假记录”按 applieddate 和 status 统一分页（例如每页 20 条），直接在应用层聚合再截取是低效且不可扩展的：每次请求都需加载全部员工文档、展开全部嵌套数组、排序后取子集——时间与内存开销随数据量线性增长，严重制约性能。
根本解法：范式化建模 + 原生数据库分页
应将多态嵌套的请假数据（Annual/Medical/Nopay/Childcare 等）统一抽象为独立集合 leaves，每个文档代表一条请假申请，并显式标识归属与类型：
type Leave struct {
ID bson.ObjectId `bson:"_id,omitempty"`
EmpID string `bson:"empid"` // 关联员工唯一标识（非 _id，便于索引）
Name string `bson:"name"` // 员工姓名（冗余，避免 JOIN）
Type string `bson:"type"` // "annual", "medical", "nopay", "childcare"...
Total float64 `bson:"total"` // 总额度（如年假天数）
Days float64 `bson:"days"` // 本次申请天数
From time.Time `bson:"from"`
To time.Time `bson:"to"`
AppliedDate time.Time `bson:"applieddate"`
Status string `bson:"status"` // "Processing", "Approved", "Rejected"
Certificate []CertificateInfo `bson:"certificate"`
}对应 MongoDB 集合 leaves，需建立复合索引以支撑高效分页排序：
// 在 MongoDB Shell 中执行
db.leaves.createIndex({ "applieddate": -1, "status": 1, "empid": 1 })✅ 关键优势：索引覆盖
Sort+Skip+Limit全流程，MongoDB 可直接定位并返回目标页数据，无需传输无关文档。
Go（mgo）分页查询实现（Beego Controller 示例）
func (c *LeaveController) GetLeaves() {
// 解析分页参数（示例：page=1, limit=20）
page := c.GetInt("page", 1)
if page < 1 {
page = 1
}
limit := c.GetInt("limit", 20)
skip := (page - 1) * limit
session := common.GetMongoSession() // 获取 mgo.Session
defer session.Close()
c := session.DB("").C("leaves")
var leaves []Leave
err := c.Find(nil). // 查询全部请假记录（无 empid 过滤）
Sort("-applieddate", "status"). // 按申请时间倒序 + 状态升序
Skip(skip).
Limit(limit).
All(&leaves)
if err != nil {
c.Data["json"] = map[string]interface{}{
"success": false,
"error": err.Error(),
}
c.ServeJSON()
return
}
// 构造前端所需格式（可选：映射字段名）
result := make([]map[string]interface{}, len(leaves))
for i, l := range leaves {
result[i] = map[string]interface{}{
"LeaveEmpId": l.EmpID,
"Name": l.Name,
"LeaveId": l.ID.Hex(),
"LeaveType": l.Type,
"LeaveTotal": l.Total,
"LeaveDays": l.Days,
"LeaveFrom": l.From.Format(time.RFC3339),
"LeaveTo": l.To.Format(time.RFC3339),
"LeaveAppliedDate": l.AppliedDate.Format(time.RFC3339),
"LeaveStatus": l.Status,
"CertificateName": extractFilenames(l.Certificate),
}
}
c.Data["json"] = map[string]interface{}{
"success": true,
"data": result,
"page": page,
"limit": limit,
"total": getTotalLeaveCount(c), // 可通过 Count() 获取总数（用于前端分页控件）
}
c.ServeJSON()
}
// 辅助函数：提取证书文件名列表
func extractFilenames(certs []CertificateInfo) []string {
names := make([]string, 0, len(certs))
for _, c := range certs {
if c.Filename != "" {
names = append(names, c.Filename+c.Filetype)
}
}
return names
}
// 获取总记录数（用于分页显示）
func getTotalLeaveCount(c *mgo.Collection) int {
count, _ := c.Find(nil).Count()
return count
}重要注意事项与进阶建议
-
索引必须存在：
Skip()在大数据集（>100万条）下性能会显著下降，因需跳过前 N 条。务必确保applieddate+status复合索引已创建并生效（用explain()验证）。 -
游标分页（推荐用于海量数据）：当记录数极大时，应弃用
Skip，改用基于排序字段的游标分页（如{"applieddate": {"$lt": lastDate}, "status": {"$gte": lastStatus}}）。可参考 mgo-cursor-paginator 库。 -
数据迁移：需编写一次性脚本，将现有
Employee文档中的各 leave 数组扁平化为leaves集合文档，并填充empid和type字段。 - 事务与一致性：若需强一致性（如新增请假同时更新员工余额），MongoDB 4.0+ 支持多文档事务，但需权衡复杂度；多数场景下最终一致性可接受。
-
Beego 集成：确保
mgo会话管理符合 Beego 的生命周期（如使用beego.BeeApp.Server的OnStart注册连接池）。
通过此重构，分页逻辑完全下推至数据库层，单次查询仅返回目标页 20 条数据，响应时间稳定在毫秒级，彻底解决原方案的性能瓶颈。
