课程导学 · COURSE WIKI

智能体模拟与管理研究的证据边界

第 5 课 · 开放探讨 · 约 45 分钟。研究问题:智能体看起来像员工,什么时候才有理由把它的输出用于管理研究?

打开第 5 课学生实验 · 下载学习资料与 Python / R 复现代码

知识点与学习入口

从“员工是否提交改进建议”出发,区分三件事:理论提出的关系、程序写入的行为假设、独立数据提供的证据。本课浏览器计算采用显式规则,不运行大语言模型;合成员工也不是真实参与者。

  • 零代码:按五个任务先预测、再操作、记录数值,最后写一张可被否证的研究卡。
  • Python / R:完成浏览器比较后,用随附脚本复现默认 CSV;程序一致性只检验计算实现,不验证员工行为。
  • 核心概念:构念与操作化、配对比较、理论操纵与无关扰动、重复运行、外部效度、独立留出验证。

先读懂这条行为规则

规则为 z = −0.4 + 1.3 × benefit − 1.6 × cost + α × L × receptivity + γ × W;p = 1 / (1 + exp(−z)),当 u < p 时提交建议。L 为开放回应(1)或限制回应(−1);W 为措辞 A(0)或 B(1)。α 与 γ 都是人为指定的假设系数,未由论文或真人数据估计。

20 个合成员工的画像种子固定为 731;四种条件中的同一员工复用决策随机数 u。这样可以减少配对比较的随机差异,但不能创造现实世界的因果识别。话题覆盖是提交者涉及的话题类别数除以 4,不是语义多样性或建议质量。

五个任务:从规则到研究卡

  1. 配对比较(10 分钟)。固定 seed=42、α=1、γ=0,比开放 A 与限制 A;记录同一 ID 的概率、随机数与决定。问:观察到的方向,有多少已由 α 写进规则?
  2. 撤掉假设(7 分钟)。保持种子与 γ 不变,把 α 调到 0、再到 −1。α=0 时两条件的配对结果相同;反向系数会改写内置方向。写下真正挑战理论所需的独立证据。
  3. 改写扰动(8 分钟)。恢复 α=1,把 γ 从 0 改到 1 或 −1,比较开放/限制 × A/B 四格。γ 直接进入公式,不是大模型理解文本的结果。真实模型实验需另行验证两种措辞确实等价。
  4. 更换种子(7 分钟)。用 42、43、44 重复四格,始终保持画像与配对规则不变;下载默认 CSV 并与 Python / R 核对。新种子增加规则实现的观察,不能增加真人样本或形成真人效应置信区间。
  5. 研究卡(13 分钟)。写出目标人群、分析单位、操纵、指标、失败标准、替代机制和独立验证。用实验页提供的协议设计真实模型研究,记录完整提示、模型版本、日期时区、采样设置、原始日志及失败重试规则。

迁移到管理研究

把“开放领导让更多员工建言”拆开:开放回应是情境操纵;是否提交建议是行为指标;团队心理安全是需要单独界定和测量的团队层面构念。这个沙盘没有社会互动,也没有心理安全中介,不能把三者互换。

若研究目标是模拟某类真实员工,应先明确需要匹配的是均值、分布还是条件差异,预先冻结指标、可接受误差与失败标准,再用未参与提示或规则开发的目标人群数据检验。真实访谈和员工资料进入外部服务前,需要相应审批、知情同意与数据保护安排。

模型重复输出稳定、提示改写稳健、程序复现一致,各有价值,但都不能单独证明对人的外部效度。留出预测也不能自动证明领导干预的现实因果效应。回看数据边界、基线与评价和测量效度,为每项研究主张安排对应证据。

阅读顺序与离开前的成果

先对读 Park 等的个体模拟研究与 Gao 等的人类替代边界,再读 Edmondson 的心理安全和 Morrison 的建言综述。进入第 5 课四篇阅读,或下载阅读与讨论。

留下两份材料:一份注明规则版本、参数与条件的 CSV,以及一张研究卡。研究卡必须写清“哪些关系是预先写入规则的”“什么结果会让我放弃当前主张”“下一步哪种独立证据能区分替代解释”。实验页可将研究卡保存到当前浏览器,也可下载;迁移网址或清理浏览器数据不会自动保留它。