核心结论
AI 是否适合参与一项科研任务,不能只看它“会不会做”,而要同时判断四件事:输入是否允许交给它、错误能否被发现、结果是否可以撤回、谁对最终行动负责。能够快速复核、错误可逆的工作,可以让 AI 多承担一些;会改变研究对象权益、原始数据、统计结论或投稿责任的工作,只能由 AI 提供候选方案,不能把决定权交出去。
这套判断比罗列“AI 可以检索、写作、分析、画图”更重要。相同功能放在不同情境中,风险完全不同:让 AI 把已经公开的论文标题按主题归类,和让它判断一名受试者是否应排除,都叫“分类”,但后者会改变样本、结果和伦理责任,不能采用同一种自动化方式。
先判断任务,而不是先选择工具
科研人员常从工具出发:“这个模型能不能读 PDF?”“能不能写 R 代码?”这样容易把一次演示成功误认为科研可用。正确顺序应当相反:先写清任务产生什么后果,再决定 AI 参与到哪一步。
可以用两个维度做第一次筛选:错误成本和可逆性。
- 错误成本低、容易撤回:改写检索词、整理会议纪要、把已核验文献转换成引用格式。
- 错误成本中等、可以复核:从论文中提取候选字段、生成统计代码草稿、检查论证是否缺少连接。
- 错误成本高、难以撤回:改变纳入排除结果、覆盖原始数据、确定统计模型、生成研究结论、向投稿系统提交声明。
- 不应进入当前工具:带有身份标识的受试者数据、保密评审材料、受合同限制的未公开资料,以及机构明确禁止上传的内容。
NIST 的 AI 风险管理框架把风险管理概括为治理、情境映射、测量和处置。用于个人科研时,可以把它压缩成四个问题:这项任务受什么规则约束;在什么研究情境中使用;怎样测试输出;发现问题后怎样停止或恢复。它不是要求科研人员建设一套庞大治理系统,而是提醒我们,脱离具体情境谈“模型能力”没有意义。
一张任务表决定 AI 参与到哪里
下面是一份填写完成的教学示例。
**教学模拟案例:**医学研究生林岚准备开展一项已获伦理批准的回顾性研究,分析 600 份去标识化住院记录中的再入院相关因素。她希望用 AI 加快研究准备,但尚未把任何材料上传到外部工具。
| 科研任务 | 输入材料 | 错误后果 | 是否容易复核 | AI角色 | 人工放行点 |
|---|---|---|---|---|---|
| 扩展检索词 | 公开研究问题、3篇种子论文 | 漏掉同义词,检索不全 | 容易,可由数据库结果验证 | 生成候选词 | 研究者确认检索式后运行 |
| 整理变量说明 | 去标识化字段名、数据字典 | 误解变量含义 | 中等,需对照原始定义 | 归纳与提问 | 数据负责人批准变量定义 |
| 判定异常值 | 数据分布与研究方案 | 删除真实极端值,改变结果 | 较难,依赖领域判断 | 标记候选异常 | 研究者按预先规则决定保留或处理 |
| 选择回归模型 | 问题、变量、样本结构 | 模型错误导致错误推断 | 较难,需要统计判断 | 比较候选方案 | 统计负责人确定分析计划 |
| 写结论 | 已核验结果与限制 | 夸大因果、越过证据边界 | 可检查但影响重大 | 提供措辞草稿 | 全体作者核对并承担责任 |
这张表没有把任务简单分成“AI 做”和“人做”,而是明确 AI 在什么材料上做什么、结果停在哪里、谁在下一步之前放行。AI 可以在高风险任务中参与,但它的角色应从“执行决定”退回到“列出候选、暴露疑点或检查一致性”。
把科研任务分为三种角色
生成候选
AI 最适合扩大候选空间,例如提供检索同义词、列出可能的混杂因素、提出代码测试样例。这类输出的价值是帮助研究者少漏想,而不是替研究者证明候选一定正确。
验收时不要问“回答是否流畅”,要问:是否遗漏已知关键项;是否混入不适用概念;每个候选能否回到真实材料或专业知识核对。候选尚未核验之前,不应直接写入方案、数据或论文。
处理已定义的材料
当字段、规则和输出格式已经清楚,AI 可以承担整理、转换和初步标注。例如按预先定义的六个字段提取论文信息,或者把一个已经通过测试的分析步骤转换成代码草稿。
这类任务的关键不是提示词更长,而是准备一组人工确认的样本。先让 AI 处理少量材料,将结果与人工答案比较;错误类型可接受后才扩大范围。只报告整体“准确率”通常不够,还要看它是否在最重要的字段上出错。
支持判断,但不作最终决定
研究问题、纳排标准、异常值、统计模型、因果解释、作者署名和投稿声明都包含不可外包的科研责任。AI 可以提出质疑、列出备选和检查前后矛盾,但最终决定必须由具备相应知识和权限的人作出。
ICMJE 关于 AI 辅助技术的建议明确强调,人类对 AI 辅助产生的内容承担准确性、完整性、引用和透明披露责任,AI 不能列为作者。这个原则不只适用于写作,也适用于研究过程中任何可能进入论文的分析和表达。
“人工审核”必须是一个真实动作
很多工作流最后写一句“AI 输出需人工审核”,但没有说明审核什么,这种边界实际上无法执行。有效的人工放行至少包含四项:
- **审核对象:**具体到文献记录、变量定义、代码输出或某一句结论。
- **审核依据:**原始论文、研究方案、数据字典、统计诊断或期刊规则。
- **审核时点:**在结果进入数据库、分析脚本、论文或投稿系统之前。
- **审核记录:**保存修改内容、修改理由、审核人和版本。
在林岚的案例中,“研究者看一下模型建议”不是放行标准。更具体的做法是:数据负责人逐项确认变量含义;统计负责人运行残差和敏感性诊断;对应作者核对结论中的研究对象、方向、效应量和限制。每个动作都有材料、有判断依据,也能在之后说明是谁作出的决定。
什么时候必须停止使用 AI
出现以下任一情况,应停止当前任务,而不是继续调整提示词:
- 无法确认输入材料是否允许上传或处理;
- AI 无法指出输出依据,研究者也无法从原始材料复核;
- 关键字段在小样本测试中持续出现漏报、错配或编造;
- 输出会直接改变受试者权益、原始记录、主要分析或对外声明;
- 团队中没有具备相应领域或统计能力的人能够放行;
- 模型、工具或账号的保存和训练规则不清楚。
停止不意味着永远不能使用 AI。可以改用不含敏感信息的材料、把任务缩小为候选生成、改用机构批准的本地环境,或交回领域专家处理。
同一个功能,换一个环节就要重新分级
任务分级不能直接继承工具名称。以“摘要”为例:把一篇公开论文压缩成供自己初读的提要,错误通常能通过返回原文发现;把受试者病历摘要用于决定是否纳入研究,遗漏一条排除条件就会改变样本;把整项研究摘要直接提交给期刊,则会影响作者对外作出的科学声明。三件事都叫摘要,但输入许可、验证强度和放行人完全不同。
因此,每当下面任一因素改变时,都要重新填写任务表,而不是沿用上一次结论:输入从公开资料变成未公开资料;输出从内部候选变成论文内容;结果开始批量写入正式记录;模型或服务商发生变化;原本可逐项核对的数量扩大到人工无法复核。尤其要警惕“试了五条都对,所以五千条可以自动通过”的推断。规模扩大不仅增加错误数量,也可能让罕见但严重的错误首次出现。
在林岚的案例中,AI 可以用二十行合成数据帮助检查代码接口,却不能因此获得读取六百份真实记录的许可;可以标出疑似异常值,却不能把标记直接转换成删除命令;可以为结果段提出三种措辞,却不能绕过作者核对进入投稿稿件。任务边界必须跟着材料和后果走,而不是跟着工具走。
用一次“小范围失败”决定是否扩大使用
正式运行前,研究者应准备一组能够暴露风险的测试材料,而不只是挑最容易的例子。测试组最好包含正常项、缺失项、边界项和一个已知容易混淆的反例,并事先写出人工答案。测试后记录的也不只是“对了几条”,还包括错误发生在哪一类、是否能被现有复核动作发现,以及错误进入下一步后能否撤回。
例如变量整理任务共测试二十项:模型把两项“未测量”误写成数值零。即使整体看起来有九成正确,这种错误也会改变分析含义,不能直接扩大运行。团队应先修改缺失值规则,再用新的独立样本复测;如果同类错误仍出现,就把该字段交回人工。反过来,如果错误只影响表格列顺序,且能由程序校验自动发现,修正后可以继续。
这一步形成一个明确的去向:通过,进入受控批量处理;返工,修改任务说明后重新测试;降级,只让 AI 生成候选;停止,当前环境或能力不适合该任务。科研中的 AI 使用因此成为可观察的工作决定,而不是对模型“可靠不可靠”的笼统信任。
可直接复用的AI科研任务分级表
在使用任何工具前,为任务填写以下字段:
| 字段 | 要回答的问题 |
|---|---|
| 任务结果 | AI将产生候选、草稿、标签、代码还是决定? |
| 输入许可 | 材料是否公开、去标识化并允许进入当前工具? |
| 最坏错误 | 错误会影响数据、受试者、结论、署名还是投稿? |
| 复核依据 | 人工用什么原始材料或测试判断对错? |
| 可逆性 | 错误能否在对外行动前发现、撤回和重做? |
| AI角色 | 生成候选、按规则处理,还是支持人工判断? |
| 放行人 | 谁具备知识和权限作最终决定? |
| 停止条件 | 出现什么证据必须停止或升级处理? |
| 留痕 | 保存哪些输入版本、输出、修改和批准记录? |
如果“复核依据”“放行人”或“停止条件”填不出来,任务还不具备使用 AI 的条件。先补齐科研控制,再讨论模型选择和提示设计,通常比更换一个更强的模型更有效。