<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Anthropic on 拾乐码站 - 探索代码的艺术，分享编程的乐趣</title><link>https://shiller.cn/tags/anthropic/</link><description>Recent content in Anthropic on 拾乐码站 - 探索代码的艺术，分享编程的乐趣</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Fri, 06 Mar 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://shiller.cn/tags/anthropic/index.xml" rel="self" type="application/rss+xml"/><item><title>Constitutional Classifiers：Anthropic 如何用合成数据防御 AI 越狱攻击</title><link>https://shiller.cn/posts/2026-03-06-constitutional-classifiers-jailbreak-defense/</link><pubDate>Fri, 06 Mar 2026 00:00:00 +0000</pubDate><guid>https://shiller.cn/posts/2026-03-06-constitutional-classifiers-jailbreak-defense/</guid><description>&lt;h2 id="问题越狱攻击的军备竞赛"&gt;问题：越狱攻击的军备竞赛&lt;/h2&gt;
&lt;p&gt;大语言模型（LLM）的安全防护一直在和越狱攻击（jailbreak）打一场军备竞赛。传统的防御方法有两个致命缺陷：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;过度拒绝&lt;/strong&gt;：为了安全，模型变得过于谨慎，连正常请求都拒绝&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;计算开销&lt;/strong&gt;：每次推理都要额外检查，成本高昂&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;Anthropic 在 2026 年 1 月发布的 Constitutional Classifiers++ 提供了一个优雅的解决方案：&lt;strong&gt;用合成数据训练的分类器，在输入和输出两端拦截恶意内容&lt;/strong&gt;。&lt;/p&gt;</description></item></channel></rss>