核心结论

AI 是否适合参与一项科研任务,不能只看它“会不会做”,而要同时判断四件事:输入是否允许交给它、错误能否被发现、结果是否可以撤回、谁对最终行动负责。能够快速复核、错误可逆的工作,可以让 AI 多承担一些;会改变研究对象权益、原始数据、统计结论或投稿责任的工作,只能由 AI 提供候选方案,不能把决定权交出去。

这套判断比罗列“AI 可以检索、写作、分析、画图”更重要。相同功能放在不同情境中,风险完全不同:让 AI 把已经公开的论文标题按主题归类,和让它判断一名受试者是否应排除,都叫“分类”,但后者会改变样本、结果和伦理责任,不能采用同一种自动化方式。

先判断任务,而不是先选择工具

科研人员常从工具出发:“这个模型能不能读 PDF?”“能不能写 R 代码?”这样容易把一次演示成功误认为科研可用。正确顺序应当相反:先写清任务产生什么后果,再决定 AI 参与到哪一步。

可以用两个维度做第一次筛选:错误成本可逆性

  • 错误成本低、容易撤回:改写检索词、整理会议纪要、把已核验文献转换成引用格式。
  • 错误成本中等、可以复核:从论文中提取候选字段、生成统计代码草稿、检查论证是否缺少连接。
  • 错误成本高、难以撤回:改变纳入排除结果、覆盖原始数据、确定统计模型、生成研究结论、向投稿系统提交声明。
  • 不应进入当前工具:带有身份标识的受试者数据、保密评审材料、受合同限制的未公开资料,以及机构明确禁止上传的内容。

NIST 的 AI 风险管理框架把风险管理概括为治理、情境映射、测量和处置。用于个人科研时,可以把它压缩成四个问题:这项任务受什么规则约束;在什么研究情境中使用;怎样测试输出;发现问题后怎样停止或恢复。它不是要求科研人员建设一套庞大治理系统,而是提醒我们,脱离具体情境谈“模型能力”没有意义。

一张任务表决定 AI 参与到哪里

下面是一份填写完成的教学示例。

**教学模拟案例:**医学研究生林岚准备开展一项已获伦理批准的回顾性研究,分析 600 份去标识化住院记录中的再入院相关因素。她希望用 AI 加快研究准备,但尚未把任何材料上传到外部工具。

科研任务输入材料错误后果是否容易复核AI角色人工放行点
扩展检索词公开研究问题、3篇种子论文漏掉同义词,检索不全容易,可由数据库结果验证生成候选词研究者确认检索式后运行
整理变量说明去标识化字段名、数据字典误解变量含义中等,需对照原始定义归纳与提问数据负责人批准变量定义
判定异常值数据分布与研究方案删除真实极端值,改变结果较难,依赖领域判断标记候选异常研究者按预先规则决定保留或处理
选择回归模型问题、变量、样本结构模型错误导致错误推断较难,需要统计判断比较候选方案统计负责人确定分析计划
写结论已核验结果与限制夸大因果、越过证据边界可检查但影响重大提供措辞草稿全体作者核对并承担责任

这张表没有把任务简单分成“AI 做”和“人做”,而是明确 AI 在什么材料上做什么、结果停在哪里、谁在下一步之前放行。AI 可以在高风险任务中参与,但它的角色应从“执行决定”退回到“列出候选、暴露疑点或检查一致性”。

把科研任务分为三种角色

生成候选

AI 最适合扩大候选空间,例如提供检索同义词、列出可能的混杂因素、提出代码测试样例。这类输出的价值是帮助研究者少漏想,而不是替研究者证明候选一定正确。

验收时不要问“回答是否流畅”,要问:是否遗漏已知关键项;是否混入不适用概念;每个候选能否回到真实材料或专业知识核对。候选尚未核验之前,不应直接写入方案、数据或论文。

处理已定义的材料

当字段、规则和输出格式已经清楚,AI 可以承担整理、转换和初步标注。例如按预先定义的六个字段提取论文信息,或者把一个已经通过测试的分析步骤转换成代码草稿。

这类任务的关键不是提示词更长,而是准备一组人工确认的样本。先让 AI 处理少量材料,将结果与人工答案比较;错误类型可接受后才扩大范围。只报告整体“准确率”通常不够,还要看它是否在最重要的字段上出错。

支持判断,但不作最终决定

研究问题、纳排标准、异常值、统计模型、因果解释、作者署名和投稿声明都包含不可外包的科研责任。AI 可以提出质疑、列出备选和检查前后矛盾,但最终决定必须由具备相应知识和权限的人作出。

ICMJE 关于 AI 辅助技术的建议明确强调,人类对 AI 辅助产生的内容承担准确性、完整性、引用和透明披露责任,AI 不能列为作者。这个原则不只适用于写作,也适用于研究过程中任何可能进入论文的分析和表达。

“人工审核”必须是一个真实动作

很多工作流最后写一句“AI 输出需人工审核”,但没有说明审核什么,这种边界实际上无法执行。有效的人工放行至少包含四项:

  1. **审核对象:**具体到文献记录、变量定义、代码输出或某一句结论。
  2. **审核依据:**原始论文、研究方案、数据字典、统计诊断或期刊规则。
  3. **审核时点:**在结果进入数据库、分析脚本、论文或投稿系统之前。
  4. **审核记录:**保存修改内容、修改理由、审核人和版本。

在林岚的案例中,“研究者看一下模型建议”不是放行标准。更具体的做法是:数据负责人逐项确认变量含义;统计负责人运行残差和敏感性诊断;对应作者核对结论中的研究对象、方向、效应量和限制。每个动作都有材料、有判断依据,也能在之后说明是谁作出的决定。

什么时候必须停止使用 AI

出现以下任一情况,应停止当前任务,而不是继续调整提示词:

  • 无法确认输入材料是否允许上传或处理;
  • AI 无法指出输出依据,研究者也无法从原始材料复核;
  • 关键字段在小样本测试中持续出现漏报、错配或编造;
  • 输出会直接改变受试者权益、原始记录、主要分析或对外声明;
  • 团队中没有具备相应领域或统计能力的人能够放行;
  • 模型、工具或账号的保存和训练规则不清楚。

停止不意味着永远不能使用 AI。可以改用不含敏感信息的材料、把任务缩小为候选生成、改用机构批准的本地环境,或交回领域专家处理。

同一个功能,换一个环节就要重新分级

任务分级不能直接继承工具名称。以“摘要”为例:把一篇公开论文压缩成供自己初读的提要,错误通常能通过返回原文发现;把受试者病历摘要用于决定是否纳入研究,遗漏一条排除条件就会改变样本;把整项研究摘要直接提交给期刊,则会影响作者对外作出的科学声明。三件事都叫摘要,但输入许可、验证强度和放行人完全不同。

因此,每当下面任一因素改变时,都要重新填写任务表,而不是沿用上一次结论:输入从公开资料变成未公开资料;输出从内部候选变成论文内容;结果开始批量写入正式记录;模型或服务商发生变化;原本可逐项核对的数量扩大到人工无法复核。尤其要警惕“试了五条都对,所以五千条可以自动通过”的推断。规模扩大不仅增加错误数量,也可能让罕见但严重的错误首次出现。

在林岚的案例中,AI 可以用二十行合成数据帮助检查代码接口,却不能因此获得读取六百份真实记录的许可;可以标出疑似异常值,却不能把标记直接转换成删除命令;可以为结果段提出三种措辞,却不能绕过作者核对进入投稿稿件。任务边界必须跟着材料和后果走,而不是跟着工具走。

用一次“小范围失败”决定是否扩大使用

正式运行前,研究者应准备一组能够暴露风险的测试材料,而不只是挑最容易的例子。测试组最好包含正常项、缺失项、边界项和一个已知容易混淆的反例,并事先写出人工答案。测试后记录的也不只是“对了几条”,还包括错误发生在哪一类、是否能被现有复核动作发现,以及错误进入下一步后能否撤回。

例如变量整理任务共测试二十项:模型把两项“未测量”误写成数值零。即使整体看起来有九成正确,这种错误也会改变分析含义,不能直接扩大运行。团队应先修改缺失值规则,再用新的独立样本复测;如果同类错误仍出现,就把该字段交回人工。反过来,如果错误只影响表格列顺序,且能由程序校验自动发现,修正后可以继续。

这一步形成一个明确的去向:通过,进入受控批量处理;返工,修改任务说明后重新测试;降级,只让 AI 生成候选;停止,当前环境或能力不适合该任务。科研中的 AI 使用因此成为可观察的工作决定,而不是对模型“可靠不可靠”的笼统信任。

可直接复用的AI科研任务分级表

在使用任何工具前,为任务填写以下字段:

字段要回答的问题
任务结果AI将产生候选、草稿、标签、代码还是决定?
输入许可材料是否公开、去标识化并允许进入当前工具?
最坏错误错误会影响数据、受试者、结论、署名还是投稿?
复核依据人工用什么原始材料或测试判断对错?
可逆性错误能否在对外行动前发现、撤回和重做?
AI角色生成候选、按规则处理,还是支持人工判断?
放行人谁具备知识和权限作最终决定?
停止条件出现什么证据必须停止或升级处理?
留痕保存哪些输入版本、输出、修改和批准记录?

如果“复核依据”“放行人”或“停止条件”填不出来,任务还不具备使用 AI 的条件。先补齐科研控制,再讨论模型选择和提示设计,通常比更换一个更强的模型更有效。