コンテンツモデレーション

コンテンツモデレーションは、デジタルアプリケーションにおいて安全で、敬意を持ち、生産的な環境を維持するための重要な側面です。このガイドでは、デジタルアプリケーション内のコンテンツをモデレートするためにClaudeをどのように使用できるかについて説明します。

コンテンツモデレーションクックブックにアクセスして、Claudeを使用したコンテンツモデレーション実装の例をご覧ください。

このガイドは、アプリケーション内のユーザー生成コンテンツのモデレーションに焦点を当てています。Claudeとのインタラクションのモデレーションに関するガイダンスをお探しの場合は、ガードレールガイドを参照してください。

Claudeを使用した構築を始める前に

コンテンツモデレーションにClaudeを使用するかどうかを決定する

以下は、従来のMLやルールベースのアプローチではなく、ClaudeのようなLLMをコンテンツモデレーションに使用すべき主な指標です：

コスト効率が良く迅速な実装を望んでいる

従来のML手法では、かなりのエンジニアリングリソース、ML専門知識、インフラコストが必要です。人間によるモデレーションシステムはさらに高いコストがかかります。Claudeを使用すれば、高度なモデレーションシステムを短時間で低コストで稼働させることができます。

意味的理解と迅速な判断の両方を求めている

Bag-of-wordsモデルや単純なパターンマッチングなどの従来のMLアプローチは、コンテンツのトーン、意図、文脈を理解するのに苦労することがよくあります。人間によるモデレーションシステムは意味的理解に優れていますが、コンテンツのレビューに時間がかかります。Claudeは意味的理解と迅速なモデレーション判断を提供する能力を組み合わせることでこのギャップを埋めます。

一貫したポリシー決定が必要

高度な推論能力を活用することで、Claudeは複雑なモデレーションガイドラインを一貫して解釈し適用できます。この一貫性により、すべてのコンテンツが公平に扱われ、ユーザーの信頼を損なう可能性のある不整合または偏ったモデレーション判断のリスクを減らすことができます。

モデレーションポリシーが時間とともに変化または進化する可能性がある

従来のMLアプローチが確立されると、それを変更することは労力を要し、データ集約的な作業になります。一方、製品やお客様のニーズが進化するにつれて、Claudeはトレーニングデータの広範な再ラベル付けなしに、モデレーションポリシーの変更や追加に簡単に適応できます。

モデレーション判断に解釈可能な理由付けが必要

ユーザーや規制当局にモデレーション判断の背後にある明確な説明を提供したい場合、Claudeは詳細で一貫性のある正当化理由を生成できます。この透明性は、コンテンツモデレーション実践における信頼構築と説明責任の確保に重要です。

別々のモデルを維持せずに多言語サポートが必要

従来のMLアプローチでは、通常、サポートされる各言語に対して別々のモデルまたは広範な翻訳プロセスが必要です。人間によるモデレーションでは、サポートされる各言語に堪能な人材を雇用する必要があります。Claudeの多言語機能により、別々のモデルや広範な翻訳プロセスを必要とせずに、様々な言語でチケットを分類でき、グローバルな顧客ベースのモデレーションを効率化します。

マルチモーダルサポートが必要

Claudeのマルチモーダル機能により、テキストと画像の両方でコンテンツを分析・解釈することができます。これにより、異なるメディアタイプを一緒に評価する必要がある環境での包括的なコンテンツモデレーションのための多用途ツールとなります。

AnthropicはすべてのClaudeモデルを正直で、役立ち、無害であるように訓練しています。これにより、使用されるプロンプトに関係なく、Claudeは特に危険とみなされるコンテンツ（私たちの利用規約に沿って）をモデレートする場合があります。例えば、ユーザーが露骨な性的コンテンツを投稿できるようにしたい成人向けウェブサイトでは、プロンプトで露骨な性的コンテンツをモデレートしないように指定しても、Claudeが露骨なコンテンツをモデレーションが必要としてフラグを立てる場合があります。モデレーションソリューションを構築する前に、当社のAUPを確認することをお勧めします。

モデレートするコンテンツの例を生成する

コンテンツモデレーションソリューションを開発する前に、まずフラグを立てるべきコンテンツとフラグを立てるべきでないコンテンツの例を作成してください。コンテンツモデレーションシステムが効果的に処理するのが難しい可能性のあるエッジケースや難しいシナリオを必ず含めてください。その後、例を確認して、明確に定義されたモデレーションカテゴリのリストを作成します。 例えば、ソーシャルメディアプラットフォームによって生成された例には、以下のようなものが含まれる場合があります：

allowed_user_comments = [
    'This movie was great, I really enjoyed it. The main actor really killed it!',
    'I hate Mondays.',
    'It is a great time to invest in gold!'
]

disallowed_user_comments = [
    'Delete this post now or you better hide. I am coming after you and your family.',
    'Stay away from the 5G cellphones!! They are using 5G to control you.',
    'Congratulations! You have won a $1,000 gift card. Click here to claim your prize!'
]

# Sample user comments to test the content moderation
user_comments = allowed_user_comments + disallowed_user_comments

# List of categories considered unsafe for content moderation
unsafe_categories = [
    'Child Exploitation',
    'Conspiracy Theories',
    'Hate',
    'Indiscriminate Weapons', 
    'Intellectual Property',
    'Non-Violent Crimes', 
    'Privacy',
    'Self-Harm',
    'Sex Crimes',
    'Sexual Content',
    'Specialized Advice',
    'Violent Crimes'
]

これらの例を効果的にモデレートするには、言語の微妙な理解が必要です。コメント This movie was great, I really enjoyed it. The main actor really killed it! では、コンテンツモデレーションシステムは「killed it」が実際の暴力の表示ではなく、比喩であることを認識する必要があります。逆に、暴力の明示的な言及がないにもかかわらず、コメント Delete this post now or you better hide. I am coming after you and your family. はコンテンツモデレーションシステムによってフラグが立てられるべきです。

unsafe_categories リストは、特定のニーズに合わせてカスタマイズできます。例えば、未成年者がウェブサイト上でコンテンツを作成することを防ぎたい場合は、リストに「Underage Posting」を追加することができます。

---

Claudeを使用してコンテンツをモデレートする方法

適切なClaudeモデルを選択する

モデルを選択する際には、データのサイズを考慮することが重要です。コストが懸念される場合、Claude Haiku 3のような小さなモデルはコスト効率が良いため、優れた選択肢です。以下は、毎月10億件の投稿を受け取るソーシャルメディアプラットフォームのテキストをモデレートするコストの見積もりです：

• コンテンツサイズ

  • 月間投稿数：10億
  • 投稿あたりの文字数：100
  • 合計文字数：1000億

• 推定トークン

  • 入力トークン：286億（1トークンあたり3.5文字と仮定）
  • フラグが立てられるメッセージの割合：3%
  • フラグが立てられたメッセージあたりの出力トークン：50
  • 合計出力トークン：15億

• Claude Haiku 3の推定コスト

  • 入力トークンコスト：2,860 MTok * $0.25/MTok = $715
  • 出力トークンコスト：1,500 MTok * $1.25/MTok = $1,875
  • 月間コスト：$715 + $1,875 = $2,590

• Claude Sonnet 4の推定コスト

  • 入力トークンコスト：2,860 MTok * $3.00/MTok = $8,580
  • 出力トークンコスト：1,500 MTok * $15.00/MTok = $22,500
  • 月間コスト：$8,580 + $22,500 = $31,080

実際のコストはこれらの見積もりと異なる場合があります。これらの見積もりは、バッチ処理のセクションで強調されているプロンプトに基づいています。レスポンスから explanation フィールドを削除することで、出力トークンをさらに削減できます。

強力なプロンプトを構築する

Claudeをコンテンツモデレーションに使用するためには、Claudeがアプリケーションのモデレーション要件を理解する必要があります。まずは、モデレーションニーズを定義できるプロンプトを書いてみましょう：

import anthropic
import json

# Initialize the Anthropic client
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Convert the list of unsafe categories into a string, with each category on a new line
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construct the prompt for Claude, including the message and unsafe categories
    assessment_prompt = f"""
    Determine whether the following message warrants moderation, 
    based on the unsafe categories outlined below.
    
    Message:
    <message>{message}</message>

    Unsafe Categories:
    <categories>
    {unsafe_category_str}
    </categories>

    Respond with ONLY a JSON object, using the format below:
    {{
    "violation": <Boolean field denoting whether the message should be moderated>,
    "categories": [Comma-separated list of violated categories],
    "explanation": [Optional. Only include if there is a violation.]
    }}"""

    # Send the request to Claude for content moderation
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Using the Haiku model for lower costs
        max_tokens=200,
        temperature=0,   # Use 0 temperature for increased consistency
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse the JSON response from Claude
    assessment = json.loads(response.content[0].text)
    
    # Extract the violation status from the assessment
    contains_violation = assessment['violation']
    
    # If there's a violation, get the categories and explanation; otherwise, use empty defaults
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Process each comment and print the results
for comment in user_comments:
    print(f"\nComment: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Violated Categories: {', '.join(violated_categories)}")
        print(f"Explanation: {explanation}")
    else:
        print("No issues detected.")

この例では、moderate_message関数には、安全でないコンテンツカテゴリとモデレートしたいメッセージを含む評価プロンプトが含まれています。プロンプトは、定義した安全でないカテゴリに基づいて、メッセージをモデレートすべきかどうかを評価するようClaudeに依頼します。

モデルの評価は、違反があるかどうかを判断するために解析されます。違反がある場合、Claudeは違反したカテゴリのリストと、なぜそのメッセージが安全でないかの説明も返します。

プロンプトを評価する

コンテンツモデレーションは分類問題です。したがって、分類クックブックで概説されているのと同じ技術を使用して、コンテンツモデレーションシステムの精度を判断できます。

追加の考慮事項として、コンテンツモデレーションを二項分類問題として扱うのではなく、様々なリスクレベルを表す複数のカテゴリを作成することもできます。複数のリスクレベルを作成することで、モデレーションの積極性を調整できます。例えば、高リスクと判断されるユーザークエリを自動的にブロックし、中リスクのクエリが多いユーザーは人間によるレビューのためにフラグを立てることができます。

import anthropic
import json

# Initialize the Anthropic client
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Convert the list of unsafe categories into a string, with each category on a new line
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construct the prompt for Claude, including the message, unsafe categories, and risk level definitions
    assessment_prompt = f"""
    Assess the risk level of the following message warrants moderation, 
    based on the unsafe categories listed below.
    
Message:
<message>{message}</message>

Unsafe Categories:
<categories>
{unsafe_category_str}
</categories>

Assign a risk level based on your confidence that the user's message should be moderated 
based on the defined unsafe categories:

0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk

Respond with ONLY a JSON object, using the format below:
{{
  "risk_level": <Numerical field denoting the risk level>,
  "categories": [Comma-separated list of violated categories],
  "explanation": <Optional. Only include if risk level is greater than 0>
}}"""

    # Send the request to Claude for risk assessment
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Using the Haiku model for lower costs
        max_tokens=200,
        temperature=0,   # Use 0 temperature for increased consistency
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse the JSON response from Claude
    assessment = json.loads(response.content[0].text)
    
    # Extract the risk level, violated categories, and explanation from the assessment
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Process each comment and print the results
for comment in user_comments:
    print(f"\nComment: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Risk Level: {risk_level}")
    if violated_categories:
        print(f"Violated Categories: {', '.join(violated_categories)}")
    if explanation:
        print(f"Explanation: {explanation}")

このコードは、Claudeを使用してメッセージのリスクレベルを評価するassess_risk_level関数を実装しています。この関数は、メッセージと安全でないカテゴリのリストを入力として受け取ります。

関数内では、評価されるメッセージ、安全でないカテゴリ、およびリスクレベルを評価するための具体的な指示を含むプロンプトがClaudeのために生成されます。プロンプトは、リスクレベル、違反したカテゴリ、およびオプションの説明を含むJSONオブジェクトで応答するようClaudeに指示します。

このアプローチにより、リスクレベルを割り当てることで柔軟なコンテンツモデレーションが可能になります。評価されたリスクレベルに基づいてコンテンツフィルタリングを自動化したり、コメントに人間によるレビューのためのフラグを立てたりするより大きなシステムにシームレスに統合できます。例えば、このコードを実行すると、コメントDelete this post now or you better hide. I am coming after you and your family.は危険な脅威のため高リスクとして識別されます。一方、コメントStay away from the 5G cellphones!! They are using 5G to control you.は中リスクとして分類されます。

プロンプトをデプロイする

ソリューションの品質に自信を持ったら、本番環境にデプロイする時です。本番環境でコンテンツモデレーションを使用する際に従うべきいくつかのベストプラクティスを紹介します：

1. ユーザーに明確なフィードバックを提供する： ユーザー入力がコンテンツモデレーションによってブロックされたり、応答にフラグが立てられたりした場合、ユーザーがなぜメッセージにフラグが立てられたのか、どのように適切に言い換えることができるかを理解するのに役立つ、有益で建設的なフィードバックを提供します。上記のコード例では、これはClaude応答のexplanationタグを通じて行われます。

2. モデレートされたコンテンツを分析する： モデレーションシステムによってフラグが立てられているコンテンツのタイプを追跡して、傾向や改善の可能性のある領域を特定します。

3. 継続的に評価し改善する： 精度やリコールトラッキングなどのメトリクスを使用して、コンテンツモデレーションシステムのパフォーマンスを定期的に評価します。このデータを使用して、モデレーションプロンプト、キーワード、評価基準を反復的に改良します。

---

パフォーマンスを向上させる

複雑なシナリオでは、標準的なプロンプトエンジニアリング技術を超えてパフォーマンスを向上させるための追加戦略を検討することが役立つ場合があります。以下はいくつかの高度な戦略です：

トピックを定義し例を提供する

プロンプトに安全でないカテゴリをリストするだけでなく、各カテゴリに関連する定義とフレーズを提供することでさらに改善できます。

import anthropic
import json

# Initialize the Anthropic client
client = anthropic.Anthropic()

# Dictionary of categories considered unsafe for content moderation, with their definitions
unsafe_category_definitions = {
    'Child Exploitation': 'Content that depicts child nudity or that enables, encourages, excuses, or depicts the sexual abuse of children.',
    '陰謀論': """Content that promotes or endorses unfounded, false, or misleading theories about events, situations, or individuals, 
        which can incite harm or undermine public trust in institutions or facts.""",
    'Hate': """Content that is hateful toward people on the basis of their protected characteristics 
        (race, color, ethnicity, national origin, disability, religious affiliation, caste, sexual orientation, sex, gender identity and serious disease), 
        or content that perpetuates negative stereotypes.""",
    'Indiscriminate Weapons': 'Content that enables the creation of weapons of mass destruction.', 
    'Intellectual Property': 'Content that violates the intellectual property rights of third parties.',
    'Non-Violent Crimes': 'Content that enables, encourages, or excuses the commission of non-violent crimes.', 
    'Privacy': 'Content that contains sensitive, personal information about private individuals.',
    'Self-Harm': 'Content that enables, encourages, or excuses acts of intentional self-harm.',
    'Sex Crimes': 'Content that enables, encourages, or excuses the commission of sex crimes.',
    'Sexual Content': 'Content that contains erotic descriptions or explicit depictions of sex acts.',
    'Specialized Advice': """Content that contains financial, medical, or legal advice. 
        Financial advice includes guidance on investments, stocks, bonds, or any financial planning.""",
    'Violent Crimes': 'Content that enables, encourages, or excuses the commission of violent crimes.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Format unsafe categories string, with each category and its definition on a new line
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Construct the prompt for Claude, including the message and unsafe categories
    assessment_prompt = f"""Determine whether the following message warrants moderation, based on the unsafe categories outlined below.

Message:
<message>{message}</message>

Unsafe Categories and Their Definitions:
<categories>
{unsafe_category_str}
</categories>

It's important that you remember all unsafe categories and their definitions.

Respond with ONLY a JSON object, using the format below:
{{
  "violation": <Boolean field denoting whether the message should be moderated>,
  "categories": [Comma-separated list of violated categories],
  "explanation": [Optional. Only include if there is a violation.]
}}"""

    # Send the request to Claude for content moderation
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Using the Haiku model for lower costs
        max_tokens=200,
        temperature=0,   # Use 0 temperature for increased consistency
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse the JSON response from Claude
    assessment = json.loads(response.content[0].text)
    
    # Extract the violation status from the assessment
    contains_violation = assessment['violation']
    
    # If there's a violation, get the categories and explanation; otherwise, use empty defaults
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Process each comment and print the results
for comment in user_comments:
    print(f"\nComment: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Violated Categories: {', '.join(violated_categories)}")
        print(f"Explanation: {explanation}")
    else:
        print("No issues detected.")

moderate_message_with_definitions関数は、各安全でないカテゴリを詳細な定義とペアにすることで、以前のmoderate_message関数を拡張しています。これは、元の関数のunsafe_categoriesリストをunsafe_category_definitions辞書に置き換えることでコード内で発生します。この辞書は各安全でないカテゴリをその対応する定義にマッピングします。カテゴリ名とその定義の両方がプロンプトに含まれています。

特に、Specialized Adviceカテゴリの定義では、禁止すべき金融アドバイスの種類が指定されています。その結果、以前はmoderate_message評価に合格していたコメントIt's a great time to invest in gold!が、今では違反をトリガーします。

バッチ処理を検討する

リアルタイムのモデレーションが必要ない状況でコストを削減するには、メッセージをバッチでモデレートすることを検討してください。プロンプトのコンテキスト内に複数のメッセージを含め、どのメッセージをモデレートすべきかをClaudeに評価するよう依頼します。

import anthropic
import json

# Initialize the Anthropic client
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Convert the list of unsafe categories into a string, with each category on a new line
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Format messages string, with each message wrapped in XML-like tags and given an ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Construct the prompt for Claude, including the messages and unsafe categories
    assessment_prompt = f"""Determine the messages to moderate, based on the unsafe categories outlined below.

Messages:
<messages>
{messages_str}
</messages>

Unsafe categories and their definitions:
<categories>
{unsafe_category_str}
</categories>

Respond with ONLY a JSON object, using the format below:
{{
  "violations": [
    {{
      "id": <message id>,
      "categories": [list of violated categories],
      "explanation": <Explanation of why there's a violation>
    }},
    ...
  ]
}}

Important Notes:
- Remember to analyze every message for a violation.
- Select any number of violations that reasonably apply."""

    # Send the request to Claude for content moderation
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Using the Haiku model for lower costs
        max_tokens=2048,  # Increased max token count to handle batches
        temperature=0,    # Use 0 temperature for increased consistency
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse the JSON response from Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Process the batch of comments and get the response
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Print the results for each detected violation
for violation in response_obj['violations']:
    print(f"""Comment: {user_comments[violation['id']]}
Violated Categories: {', '.join(violation['categories'])}
Explanation: {violation['explanation']}
""")

この例では、batch_moderate_messages関数は単一のClaude API呼び出しでメッセージのバッチ全体のモデレーションを処理します。 関数内では、評価するメッセージのリスト、定義された安全でないコンテンツカテゴリ、およびそれらの説明を含むプロンプトが作成されます。プロンプトはClaudeに違反を含むすべてのメッセージをリストするJSONオブジェクトを返すよう指示します。レスポンス内の各メッセージは、入力リスト内のメッセージの位置に対応するidによって識別されます。 特定のニーズに最適なバッチサイズを見つけるには、いくつかの実験が必要な場合があることに留意してください。バッチサイズが大きいほどコストを下げることができますが、品質がわずかに低下する可能性もあります。また、より長いレスポンスに対応するために、Claude API呼び出しのmax_tokensパラメータを増やす必要があるかもしれません。選択したモデルが出力できるトークンの最大数の詳細については、モデル比較ページを参照してください。

コンテンツモデレーションクックブック

コンテンツモデレーションにClaudeを使用する方法の完全に実装されたコードベースの例をご覧ください。

ガードレールガイド

Claudeとのインタラクションをモデレートするテクニックについて、ガードレールガイドをご覧ください。