OpenAI首席科学家回应模型失控争议 新机制引安全担忧。OpenAI模型采用的新机制引发了安全界对思维链监控失效的质疑。9月2日，OpenAI首席科学家雅库布·帕乔基在社交平台上回应了关于新模型Astra“不可监控”的争议。
这场争议始于前一日的消息，称即将发布的Astra模型采用了名为循环深度的推理技术。该技术通过反复计算同一组Transformer层，使得部分推理过程发生在模型内部，不必全部以思维链形式呈现，因此被称为“不透明循环”。
帕乔基表示，希望避免因信息失实引发一场冲向不可监控状态的军备竞赛。他强调，包括Astra在内的前沿模型，计算图深度与GPT-4相差不超过两倍，说明模型架构并未如外界担忧的那样出现跳跃式的复杂度增长。计算图深度是指模型完成一次推理任务必须依次执行、无法并行加速的最长计算步骤链条。过去普通Transformer架构下的层内计算可以大规模并行，串行的深度约等于模型层数。
市场传言中的循环深度技术可以通过将同一套模块反复循环迭代多轮，在输出下一个词元前增加内部推理深度，从而提升数学、编码等性能并降低成本。然而，这种架构隐含的安全风险在于，当计算图深度极高时，模型可以在内部隐式完成海量推理步骤，而不必在输出中显示完整思维链，导致人类看不到其思考和谋划的过程，进而进入不可监控状态，安全审计与思维链监控全部失效。
贵公网安备52011302005168号