OpenAI新模型陷入失控争议 安全界质疑思维链监控失效。OpenAI模型采用的新机制引发了安全界对思维链监控失效的质疑。9月2日，OpenAI首席科学家雅库布・帕乔基在社交平台上回应了关于新模型Astra“不可监控”的争议。
这场争议源于此前有消息称，OpenAI即将发布的Astra模型采用了名为循环深度的推理技术。该技术下，同一组Transformer层被反复计算，部分推理过程发生在模型内部，不必全部以思维链形式呈现，因此被称为“不透明循环”。
帕乔基表示，希望避免因信息失实引发一场冲向不可监控状态的军备竞赛，即各大实验室竞相开发难以监控、无法审查的模型，导致安全管控彻底失效。他强调，包括Astra在内的前沿模型，其计算图深度与GPT-4相差不超过两倍，说明模型架构并未出现跳跃式的复杂度增长。
计算图深度是指模型完成一次推理任务必须依次执行、无法并行加速的最长计算步骤链条。过去普通Transformer架构下的层内计算可以大规模并行，串行的深度约等于模型层数。而市场传言中的循环深度技术可以把同一套模块反复迭代多轮，在输出下一个词元前增加内部推理深度，提升数学和编码等性能并降低成本。
这种架构隐含的安全风险在于，当计算图深度拉得极高时，模型可以在内部隐式完成海量推理步骤，不必在输出中展示完整思维链，从而进入不可监控状态，安全审计与思维链监控全部失效。
贵公网安备52011302005168号