Les jailbreaks et les injections de prompt se produisent lorsque les utilisateurs élaborent des prompts pour exploiter les vulnérabilités du modèle, dans le but de générer du contenu inapproprié. Bien que Claude soit intrinsèquement résistant à de telles attaques, voici des étapes supplémentaires pour renforcer vos garde-fous, particulièrement contre les utilisations qui violent nos Conditions d’utilisation ou notre Politique d’utilisation.
Claude est beaucoup plus résistant aux jailbreaks que les autres grands LLM, grâce à des méthodes d’entraînement avancées comme l’IA Constitutionnelle.
  • Filtres d’innocuité : Utilisez un modèle léger comme Claude Haiku 3 pour pré-filtrer les entrées des utilisateurs.
  • Validation des entrées : Filtrez les prompts pour détecter les modèles de jailbreaking. Vous pouvez même utiliser un LLM pour créer un filtre de validation généralisé en fournissant des exemples connus de langage de jailbreaking.
  • Ingénierie de prompt : Élaborez des prompts qui mettent l’accent sur les limites éthiques et légales.
Ajustez les réponses et envisagez de limiter ou de bannir les utilisateurs qui s’engagent de façon répétée dans un comportement abusif tentant de contourner les garde-fous de Claude. Par exemple, si un utilisateur particulier déclenche le même type de refus plusieurs fois (par exemple, “sortie bloquée par la politique de filtrage de contenu”), informez l’utilisateur que ses actions violent les politiques d’utilisation pertinentes et prenez des mesures en conséquence.
  • Surveillance continue : Analysez régulièrement les sorties pour détecter les signes de jailbreaking. Utilisez cette surveillance pour affiner itérativement vos prompts et stratégies de validation.

​
Avancé : Protections en chaîne

Combinez les stratégies pour une protection robuste. Voici un exemple de niveau entreprise avec utilisation d’outils :
En superposant ces stratégies, vous créez une défense robuste contre les jailbreaks et les injections de prompt, garantissant que vos applications alimentées par Claude maintiennent les plus hauts standards de sécurité et de conformité.