ジェイルブレイクとプロンプトインジェクションは、ユーザーがモデルの脆弱性を悪用して不適切なコンテンツを生成させることを目的としてプロンプトを作成する場合に発生します。Claudeはこのような攻撃に本質的に耐性がありますが、特に利用規約や利用ポリシーに違反する使用に対して、ガードレールを強化するための追加手順を以下に示します。

Claudeは、Constitutional AIなどの高度なトレーニング方法のおかげで、他の主要なLLMよりもジェイルブレイクに対してはるかに強い耐性を持っています。

  • 無害性スクリーン: Claude Haiku 3のような軽量モデルを使用して、ユーザー入力を事前にスクリーニングします。

  • 入力検証: ジェイルブレイクのパターンに対してプロンプトをフィルタリングします。既知のジェイルブレイク言語を例として提供することで、LLMを使用して一般化された検証スクリーンを作成することもできます。

  • プロンプトエンジニアリング: 倫理的および法的境界を強調するプロンプトを作成します。

Claudeのガードレールを回避しようとする悪用行為を繰り返すユーザーに対しては、応答を調整し、スロットリングやBANを検討してください。例えば、特定のユーザーが同じ種類の拒否（「コンテンツフィルタリングポリシーによって出力がブロックされました」など）を複数回トリガーする場合は、そのユーザーの行動が関連する利用ポリシーに違反していることを伝え、それに応じた措置を取ってください。

  • 継続的なモニタリング: ジェイルブレイクの兆候がないか出力を定期的に分析します。 このモニタリングを使用して、プロンプトと検証戦略を反復的に改良します。

​
高度な方法: チェーンセーフガード

複数の戦略を組み合わせて堅牢な保護を実現します。以下はツール使用を含むエンタープライズグレードの例です:

これらの戦略を層状に組み合わせることで、ジェイルブレイクとプロンプトインジェクションに対する堅牢な防御を構築し、Claudeを活用したアプリケーションが最高水準の安全性とコンプライアンスを維持することを確保できます。