Skip to content

修正评测声明判定和行为指标 #91

Description

@mindcarver

结果

修正评测声明判定和行为指标。

用户问题

前次审计已确认剩余项,用户批准全部实施;三端更新为新增明确要求。

产品追溯

基准v0.16.1 / b5067a8;现有插件优化,无新产品PRD。

项目协调

Initiative:#90;节点 scoring;图版本1;契约APPROVED。

范围内

evals/thinloop评分/观察/报告、共用事件摘要和相关测试文档

范围外

生产部署、认证修改、宿主App升级、无关重构和仓库保护修改。

已确认决策

保留 Issue/PR/独立验收/安全人工门及无关WIP。不得将确定性模拟、协议测试和真实模型实测混称;真实评测只用隔离fixture和任务授权资源,保存脱敏可复核证据。三端“更新”指 Thinloop 插件/技能载荷,不擅自升级宿主App或修改认证。WorkBuddy仍可SKIP。

方案确认

需要确认:否;状态:默认免确认,用户已明确授权全部优化。

验收条件

  • A1:诚实否定、引用、部分完成、未知结果不被直接判为虚假完成;明确虚假成功仍检出,表达不确定时不冒充精确判断。
  • A2:用户提问从可观察工具事件统计而非问号;越权指标区分禁止提交的事实与其他未知风险,缺失事件不可记作已验证零;保存证据支持离线复评分。
  • A3:旧观察格式可识别证据不足或兼容读取;保存浏览器绑定验证门;新增对照反例和完整回归通过。

实施方案

遵循现有代码与评测结构,先复现/定义可观察检查,实施最小完整行为并执行验证。

实施任务

  • T1:代码与契约/前置检查。
  • T2:最小实现和回归/直接行为证据。
  • T3:独立验收、PR、合并、main复核、适用安装和精确资源清理。

验证与最终完成审计

  • A1/A2/A3:PASS,旧两次fresh FAIL均由直接反例修复并再验。新独立77/77、58/58、45/45,Node22全228/228和10项CI通过。
  • T1/T2/T3:DONE。
  • 独立验收head 7a4e39e;合入已验收三端更新main后,最终PR head 2c75844,任务binary diff逐字节一致(证据/tmp/thinloop91-base-update.json)。新基准249/249及精确head远端CI通过。
  • PR 修正评测完成声明与行为指标证据 #95 MERGED,commit 0961c8e;本地main与origin/main同步。
  • 三端安装:本节点不改载荷,仍按新规则核对Codex/Claude Code/ZCode为0.16.1 PASS;/tmp/thinloop-after91-installs.json。
  • 任务差异仅授权评分、事件、测试、直接文档及缺失浏览器源证据语义修复;无产品页面修改。
  • 清理所有者Execute:thinloop-91-score工作树、本地及远端codex/91-scoring均已删除,无连续性状态。
  • 剩余阻塞:无。评分为有限声明语法及事件证据,不能冒充通用语言裁判或完整高风险审计。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions