【Forecasting Rare Language Model Behaviors：Anthropic 的Alignment Science团队发布了一项新研究，旨在预测大型语言模型在部署后罕见行为的风险。研究首先通过大量采样模型完成并测量含有有害内容的比例来计算各种提示使模型产生有害响应的概率。研究人员发现高风险查询的数量与最高风险概率之间存在幂律分布，这使得他们能够利用幂律的数学特性，从较小数量的观测实例中推断出更大规模的最坏风险。研究通过几种不同情境的实际测量与预测进行了比较，包括模型提供危险信息的风险、AI 失配行为的出现（如权力追求、自我保护和自我外泄）以及 “自动红队” 活动中的最优计算资源分配。研究结果表明，该方法在预测罕见风险方面比简单的基线方法更准确，并且在实际应用中有助于 LLM 开发者在部署模型之前采取行动。亮点：1. 利用幂律分布预测罕见行为，准确率高达86%；2. 有效识别模型在大规模部署中的潜在风险；3. 为AI模型的对齐和安全性提供科学依据】
'Forecasting rare language model behaviors'
完整URL:
