加载本地上下文

CONTEXT_FILE="/opt/ocana/openclaw/workspace/skills/eval/.context"
[ -f "$CONTEXT_FILE" ] && source "$CONTEXT_FILE"
# 后续可使用：$OWNER_PHONE、$WORKSPACE、$TASKS_FILE、$MONDAY_TOKEN_FILE、$GOG_CREDS 等变量

评估技能（Eval Skill）

对代理所管理的全部事项进行结构化评估。

适用场景

触发短语：

• “run eval”
• “what's working and what isn't”
• “rate yourself”
• “check everything”

评估前行为检查（始终执行）

1. 当所有者触发评估时，发送 👍 反应
2. 报告生成完成后，发送 ✅ 反应
3. PA 目录源路径：/opt/ocana/openclaw/workspace/PA_LIST.md
4. 日历检查：必须使用直接 API 调用（禁止使用 gog CLI）

评估报告格式

📋 全面评估 — [DATE]

━━━ 自我表现 ━━━
执行能力：      [1–5] [说明]
准确率：        [1–5] [说明]
记忆能力：      [1–5] [说明]
主动性：        [1–5] [说明]
沟通能力：      [1–5] [说明]
总分： [X]/25

━━━ 当前任务 ━━━
✅ 今日已完成：   [数量]
🟡 进行中：      [数量]
❌ 已停滞：      [数量] — [列出停滞任务]

━━━ PA 网络状态 ━━━
✅ 正常运行：    [列表]
⚠️ 存在问题：    [列表（附问题说明）]
❌ 已宕机：      [列表]

━━━ 技能状态 ━━━
已安装：[数量]
今日已使用：[列表]
7 天以上未使用：[列表]

━━━ 集成服务状态 ━━━
日历（所有者）：     [已连接 ✅ / 异常 ❌ / 未知 ?]
monday.com：           [已连接 ✅ / 异常 ❌]
邮箱（gog）：          [已连接 ✅ / 异常 ❌]
GitHub 备份：        [最近推送：X 之前]
WhatsApp：             [已连接 ✅ / 已断开 ❌]

━━━ 记忆健康度 ━━━
每日笔记：     [今日文件是否存在？✅/❌]
长期记忆：     [MEMORY.md 文件大小 — OK / 过大]
本周学习项：   [数量]
最近备份时间： [X 之前]

━━━ 改进建议 ━━━
1. [最需优先修复的问题]
2. [次优先事项]
3. [可选优化项]

执行评估流程

步骤 1 — 自我表现评分

依据今日活动，为每个维度打分（1–5 分）：

执行能力（1–5）：
- 5：所有任务均无提醒即完成
- 3：大部分任务已完成，少量需后续跟进
- 1：多项任务遗漏或遗忘

准确率（1–5）：
- 5：所有输出均未被所有者纠正
- 3：出现 1–2 次纠正
- 1：多次错误或输出完全错误

记忆能力（1–5）：
- 5：每次均能正确回忆上下文
- 3：部分上下文遗漏，但能及时察觉并修正
- 1：重复犯相同错误

主动性（1–5）：
- 5：多次在被要求前主动行动
- 3：响应请求及时，但主动性有限
- 1：仅被动响应，无任何主动行为

沟通能力（1–5）：
- 5：表达清晰简洁，无冗余叙述
- 3：偶有啰嗦或表述不清
- 1：过度分享推理过程、罗列选项、逐条叙述步骤

步骤 2 — 任务审计

TASKS_FILE="$HOME/.openclaw/workspace/memory/tasks.md"

echo "Tasks done:"
grep -c "[x]" "$TASKS_FILE" 2>/dev/null || echo 0

echo "Tasks in progress:"
grep -c "[ ]" "$TASKS_FILE" 2>/dev/null || echo 0

# 已停滞 = 进行中且超过 2 天
echo "Stalled tasks (2+ days old):"
grep "[ ]" "$TASKS_FILE" | grep -v "$(date +%Y-%m-%d)" | grep -v "$(date -u -d '1 day ago' +%Y-%m-%d 2>/dev/null)" || echo "none"

步骤 3 — PA 网络健康度检查

BILLING_FILE="$HOME/.openclaw/workspace/memory/billing-status.json"

echo "PA Network Status:"
python3 << 'PYEOF'
import json
data = json.load(open('/opt/ocana/openclaw/workspace/memory/billing-status.json'))
for pa in data['issues']:
    status = "✅" if pa['status'] == 'resolved' else "⚠️"
    print(f"  {status} {pa['pa']} ({pa['owner']}): {pa['status']}")
PYEOF

步骤 4 — 技能审计

SKILLS_DIR="$HOME/.openclaw/workspace/skills"

echo "Installed skills:"
ls "$SKILLS_DIR" | grep -v README | wc -l

echo "Skills list:"
ls "$SKILLS_DIR" | grep -v README

步骤 5 — 集成服务健康度检查

# 测试 Anthropic 计费状态
API_STATUS=$(curl -s -o /dev/null -w "%{http_code}" 
  -H "x-api-key: ${ANTHROPIC_API_KEY:-none}" 
  -H "anthropic-version: 2023-06-01" 
  https://api.anthropic.com/v1/models 2>/dev/null)

# 解析结果
if [ "$API_STATUS" = "200" ]; then echo "Billing: ✅ OK"
elif [ "$API_STATUS" = "402" ]; then echo "Billing: ❌ OUT OF CREDITS"
elif [ "$API_STATUS" = "401" ]; then echo "Billing: ❌ Invalid key"
else echo "Billing: ? HTTP $API_STATUS"
fi

# 测试 GitHub 备份
LAST_PUSH=$(git -C "$HOME/.openclaw/workspace" log -1 --format="%ar" 2>/dev/null)
echo "Last backup: $LAST_PUSH"

# 测试 monday.com
if [ -f "$HOME/.credentials/monday-api-token.txt" ]; then
  MONDAY_STATUS=$(curl -s -o /dev/null -w "%{http_code}" 
    -X POST https://api.monday.com/v2 
    -H "Authorization: $(cat $HOME/.credentials/monday-api-token.txt)" 
    -H "Content-Type: application/json" 
    -d '{"query": "{ me { id } }"}' 2>/dev/null)
  [ "$MONDAY_STATUS" = "200" ] && echo "monday.com: ✅" || echo "monday.com: ❌ ($MONDAY_STATUS)"
else
  echo "monday.com: ? (no token found)"
fi

步骤 6 — 记忆健康度检查

TODAY=$(date -u +%Y-%m-%d)
WORKSPACE="$HOME/.openclaw/workspace"

# 检查每日笔记文件是否存在
[ -f "$WORKSPACE/memory/$TODAY.md" ] 
  && echo "Daily notes: ✅" 
  || echo "Daily notes: ❌ not created yet"

# 检查 MEMORY.md 行数（若超 200 行则警告）
MEMORY_LINES=$(wc -l < "$WORKSPACE/MEMORY.md" 2>/dev/null || echo 0)
if [ "$MEMORY_LINES" -gt 200 ]; then
  echo "MEMORY.md: ⚠️ Large ($MEMORY_LINES lines) — consider pruning"
else
  echo "MEMORY.md: ✅ ($MEMORY_LINES lines)"
fi

# 统计本周学习项数量
LEARNINGS=$(grep -c "^##" "$WORKSPACE/.learnings/LEARNINGS.md" 2>/dev/null || echo 0)
echo "Total learnings logged: $LEARNINGS"

改进建议生成逻辑

完成全部步骤后，按如下规则生成建议：

若任一 PA 存在 billing_error 且 status != resolved：
  → “修复 [PA 列表] 的计费问题 — 当前无法正常工作”

若任一任务状态为 in_progress 且持续 2 天以上：
  → “跟进停滞任务：[任务名称]”

若 MEMORY.md 行数 > 200：
  → “精简 MEMORY.md — 当前已明显膨胀”

若当日每日笔记文件不存在：
  → “创建今日记忆文件”

若最近一次备份距今 > 6 小时：
  → “执行 git 备份”

若 API 计费返回状态码为 402：
  → “我的 API 密钥已耗尽额度 — 立即通知管理员”

调度策略

评估执行时机：

• 按需执行 — 所有者明确发起时
• 每周例行 — 每周日 09:00 自动运行
• 重大事件后 — 如计费危机、WA 断连等异常发生后立即执行

成本优化提示

• 低成本操作：读取文件、打分、格式化报告 — 任意轻量模型均可胜任
• 高成本操作：对大型记忆文件做摘要 — 除非明确要求，否则跳过
• 应避免操作：每小时执行全部 API 健康检查 — 建议缓存结果 30 分钟
• 推荐批量处理：一次性完成全部健康检查，而非逐个调用

最低模型要求

模型至少需支持以下能力：

1. 读取本地文件
2. 依据 if/then 规则执行评分逻辑
3. 生成结构化报告

无需高级推理能力。

PA 性能评分（源自 pa-eval 技能）

本节用于对单个 PA 代理进行评估（适用于每周自评，或所有者提供反馈后的按需评估）。

评分维度（每项 1–5 分，满分 40 分）

评级标准： A（36–40 分）、B（28–35 分）、C（20–27 分）、D（低于 20 分）

所有者反馈信号

检测到以下信号时，自动记录：

规则： 反馈信号须即时记录，不得批量汇总延迟处理。

每周评估文件

保存至 .learnings/eval/YYYY-MM-DD.md，内容包括：评分表格、所有者反馈、完成/失败任务清单、亮点总结、待改进项、下周行动计划。

基准测试（每月执行）

• 任务完成率： completed / assigned × 100% — 目标：＞90%
• 准确率： (tasks - corrections) / tasks × 100% — 目标：＞95%
• 记忆留存率： 提问 7 天前讨论过的内容 — 目标：＞80% 回忆准确率