[LG]《On Surjectivity of Neural Networks: Can you elicit any behavior from your model?》H Jiang, N Haghtalab [UC Berkeley] (2025)
神经网络几乎总是“满射”：理论揭示任意输出均可被某输入激发，安全风险不容忽视🧠
• 研究首次从微分拓扑视角出发，证明现代神经网络核心模块（如Pre-LayerNorm包裹的Transformer层、多层感知机（MLP）含LeakyReLU激活、线性注意力机制）在参数空间中几乎处处满射（surjective）。
• 满射性质意味着理论上存在输入可生成任何指定输出，包括有害或违禁内容，揭示了模型“越强大，越难绝对安全”的根本困境。
• 语言模型（GPT类Transformer）、视觉扩散模型（基于确定性ODE求解器）、机器人策略网络等均属于几乎总是满射的架构，表明这些领域的安全训练很难彻底避免被“越狱”（jailbreak）攻击。
• 论文指出“满射”与模型能力不同，满射只保证存在可致任意输出的输入，但不保证计算或信息上容易找到该输入；现实攻击的普遍性显示实际难度往往不高。
• 研究还揭示，语言模型的隐层嵌入空间覆盖了所有可能输出，版权争议中模型输出的“复现”不能仅凭输出推断训练数据，需谨慎解读。
• 证明方法巧妙利用Brouwer不动点定理、Brouwer度理论和同伦不变性，构建了分析现代连续神经网络满射性的数学工具包。
• 论文呼吁AI安全研究应超越仅观测输出行为，深入理解模型结构与满射性的关系，指导设计更安全的架构和防御策略。
• 实验部分展示了利用满射性质通过梯度优化成功“反演”GPT-2隐层嵌入，实现对特定文本的精确生成，验证理论实用性。
详细解读👉 arxiv.org/abs/2508.19445
人工智能 神经网络 模型安全 AI安全 Transformer 深度学习 数学基础 机器学习安全
