要約クックブックにアクセスして、Claudeを使用した法的文書要約の実装例をご覧ください。
Claudeを使用する前に
法的文書の要約にClaudeを使用するかどうかを決定する
以下は、法的文書の要約にClaudeのようなLLMを採用すべき主な指標です:大量の文書を効率的かつ手頃な価格でレビューしたい場合
大量の文書を効率的かつ手頃な価格でレビューしたい場合
大規模な文書レビューは、手動で行うと時間がかかり費用がかさみます。Claudeは膨大な量の法的文書を迅速に処理・要約でき、文書レビューに関連する時間とコストを大幅に削減できます。この機能は、デューデリジェンス、契約分析、訴訟ディスカバリーなど、効率性が重要なタスクに特に価値があります。
重要なメタデータの自動抽出が必要な場合
重要なメタデータの自動抽出が必要な場合
Claudeは、関係者、日付、契約条件、特定の条項など、法的文書から重要なメタデータを効率的に抽出して分類できます。この自動抽出により情報を整理し、大規模な文書セットの検索、分析、管理を容易にします。契約管理、コンプライアンスチェック、法的情報の検索可能なデータベース作成に特に役立ちます。
明確で簡潔かつ標準化された要約を生成したい場合
明確で簡潔かつ標準化された要約を生成したい場合
Claudeは、あらかじめ決められたフォーマットに従った構造化された要約を生成でき、法律専門家がさまざまな文書の要点を素早く把握しやすくなります。これらの標準化された要約により、読みやすさが向上し、文書間の比較が容易になり、特に複雑な法律用語や専門用語を扱う場合に全体的な理解が深まります。
要約に正確な引用が必要な場合
要約に正確な引用が必要な場合
法的要約を作成する際、適切な帰属と引用は信頼性を確保し、法的基準に準拠するために不可欠です。Claudeは、参照されるすべての法的ポイントに正確な引用を含めるようプロンプトを設定でき、法律専門家が要約された情報を確認して検証しやすくなります。
法的調査プロセスを合理化し迅速化したい場合
法的調査プロセスを合理化し迅速化したい場合
Claudeは、大量の判例法、法令、法的解説を迅速に分析することで法的調査を支援できます。関連する先例を特定し、重要な法的原則を抽出し、複雑な法的議論を要約することができます。この機能により調査プロセスが大幅に迅速化され、法律専門家はより高度な分析と戦略開発に集中できるようになります。
要約で抽出したい詳細を決定する
どの文書にも単一の正しい要約というものはありません。明確な指示がなければ、Claudeがどの詳細を含めるべきかを判断するのは難しい場合があります。最適な結果を得るには、要約に含めたい特定の情報を特定してください。 例えば、転貸借契約を要約する場合、以下のような重要なポイントを抽出したいかもしれません:成功基準を確立する
要約の品質を評価することは、非常に難しい課題として知られています。他の多くの自然言語処理タスクとは異なり、要約の評価には明確で客観的な指標がないことがよくあります。このプロセスは非常に主観的で、読者によって要約の異なる側面を重視することがあります。以下は、Claudeが法的要約をどれだけうまく実行するかを評価する際に考慮したい基準です。事実の正確さ
事実の正確さ
要約は、文書内の事実、法的概念、および重要なポイントを正確に表現する必要があります。
法的精度
法的精度
法令、判例法、または規制への用語と参照は正確で、法的基準に沿ったものでなければなりません。
簡潔さ
簡潔さ
要約は、重要な詳細を失うことなく法的文書を本質的なポイントに凝縮する必要があります。
一貫性
一貫性
複数の文書を要約する場合、LLMは各要約に一貫した構造とアプローチを維持する必要があります。
読みやすさ
読みやすさ
テキストは明確で理解しやすいものであるべきです。対象者が法律の専門家でない場合、要約には対象者を混乱させる可能性のある法律用語を含めるべきではありません。
バイアスと公平性
バイアスと公平性
要約は、法的議論と立場の偏りのない公平な描写を提示する必要があります。
Claudeを使用して法的文書を要約する方法
適切なClaudeモデルを選択する
モデルの精度は法的文書を要約する際に非常に重要です。Claude Sonnet 3.5は、このような高い精度が必要なユースケースに最適な選択肢です。文書のサイズと数量が大きく、コストが懸念事項になる場合は、Claude Haiku 3のような小さなモデルを試すこともできます。 これらのコストを見積もるのに役立つよう、以下はSonnetとHaikuの両方を使用して1,000件の転貸借契約を要約するコストの比較です:-
コンテンツのサイズ
- 契約数:1,000
- 契約あたりの文字数:300,000
- 合計文字数:300M
-
推定トークン数
- 入力トークン:86M(1トークンあたり3.5文字と仮定)
- 要約あたりの出力トークン:350
- 合計出力トークン:350,000
-
Claude Sonnet 4の推定コスト
- 入力トークンコスト:86 MTok * $3.00/MTok = $258
- 出力トークンコスト:0.35 MTok * $15.00/MTok = $5.25
- 合計コスト:$258.00 + $5.25 = $263.25
-
Claude Haiku 3の推定コスト
- 入力トークンコスト:86 MTok * $0.25/MTok = $21.50
- 出力トークンコスト:0.35 MTok * $1.25/MTok = $0.44
- 合計コスト:$21.50 + $0.44 = $21.96
実際のコストはこれらの見積もりと異なる場合があります。これらの見積もりは、プロンプト作成のセクションで強調されている例に基づいています。
文書をClaudeが処理できる形式に変換する
文書の要約を始める前に、データを準備する必要があります。これにはPDFからテキストを抽出し、テキストをクリーニングして、Claudeによる処理の準備を整えることが含まれます。 サンプルPDFでこのプロセスを実演します:強力なプロンプトを構築する
Claudeはさまざまな要約スタイルに適応できます。プロンプトの詳細を変更して、Claudeをより詳細または簡潔に、より多くまたは少ない専門用語を含めるように、あるいは対象となる文脈のより高いまたは低いレベルの要約を提供するように導くことができます。 以下は、転貸借契約を分析する際に生成される要約が一貫した構造に従うことを確保するプロンプトを作成する例です:summarize_document
関数を実装しています。この関数は、テキスト文字列と抽出する詳細のリストを入力として受け取ります。この例では、前のコードスニペットで定義したdocument_text
とdetails_to_extract
変数を使用して関数を呼び出しています。
関数内では、要約する文書、抽出する詳細、および文書を要約するための具体的な指示を含むプロンプトがClaudeのために生成されます。プロンプトはClaudeに、抽出する各詳細の要約をXMLヘッダー内にネストして応答するよう指示しています。
各セクションの要約をタグ内に出力することにしたため、後処理のステップとして各セクションを簡単に解析できます。このアプローチにより、ユースケースに合わせて調整できる構造化された要約が可能になり、各要約が同じパターンに従うようになります。
プロンプトを評価する
プロンプト作成は、本番環境に対応するためにテストと最適化が必要なことがよくあります。ソリューションの準備状況を判断するには、定量的手法と定性的手法を組み合わせた体系的なプロセスを使用して要約の品質を評価します。定義した成功基準に基づいた強力な経験的評価を作成することで、プロンプトを最適化できます。経験的評価に含めたい指標には以下のようなものがあります:ROUGEスコア
ROUGEスコア
これは生成された要約と専門家が作成した参照要約との間の重複を測定します。この指標は主にリコールに焦点を当て、コンテンツのカバレッジを評価するのに役立ちます。
BLEUスコア
BLEUスコア
元々は機械翻訳のために開発されましたが、この指標は要約タスクにも適応できます。BLEUスコアは、生成された要約と参照要約の間のn-gramマッチの精度を測定します。スコアが高いほど、生成された要約に参照要約と類似したフレーズや用語が含まれていることを示します。
文脈的埋め込み類似性
文脈的埋め込み類似性
この指標は、生成された要約と参照要約の両方のベクトル表現(埋め込み)を作成することを含みます。これらの埋め込み間の類似性は、多くの場合コサイン類似度を使用して計算されます。類似性スコアが高いほど、生成された要約が正確な言い回しが異なっていても、参照要約の意味的な意味と文脈を捉えていることを示します。
LLMベースの採点
LLMベースの採点
この方法では、Claudeなどのモデルを使用して、採点基準に照らして生成された要約の品質を評価します。この基準は特定のニーズに合わせてカスタマイズでき、正確性、完全性、一貫性などの重要な要素を評価します。LLMベースの採点の実装に関するガイダンスについては、これらのヒントをご覧ください。
人間による評価
人間による評価
参照要約の作成に加えて、法律の専門家は生成された要約の品質も評価できます。これは大規模には費用と時間がかかりますが、本番環境にデプロイする前の健全性チェックとして、いくつかの要約に対して行われることがよくあります。
プロンプトをデプロイする
ソリューションを本番環境にデプロイする際に念頭に置くべき追加の考慮事項を以下に示します。- 責任がないことを確認する: 要約のエラーが組織やクライアントに法的責任をもたらす可能性のある法的影響を理解してください。要約はAIによって生成されており、法律の専門家によってレビューされるべきであることを明確にする免責事項や法的通知を提供してください。
- 多様な文書タイプを処理する: このガイドでは、PDFからテキストを抽出する方法について説明しました。実際の環境では、文書はさまざまな形式(PDF、Word文書、テキストファイルなど)で提供される場合があります。データ抽出パイプラインが受け取ると予想されるすべてのファイル形式を変換できることを確認してください。
- ClaudeへのAPI呼び出しを並列化する: トークン数の多い長い文書では、Claudeが要約を生成するのに最大1分かかる場合があります。大規模な文書コレクションの場合、合理的な時間枠内で要約を完了できるように、ClaudeへのAPI呼び出しを並列に送信することをお勧めします。並列に実行できるAPI呼び出しの最大数を決定するには、Anthropicのレート制限を参照してください。
パフォーマンスを向上させる
複雑なシナリオでは、標準的なプロンプトエンジニアリング技術を超えて、パフォーマンスを向上させるための追加戦略を検討すると役立つ場合があります。以下はいくつかの高度な戦略です:メタ要約を実行して長い文書を要約する
法的要約では、長い文書や多くの関連文書を一度に処理することが多く、Claudeのコンテキストウィンドウを超える場合があります。このユースケースを処理するために、メタ要約として知られるチャンキング方法を使用できます。この技術では、文書をより小さく管理しやすいチャンクに分割し、各チャンクを個別に処理します。その後、各チャンクの要約を組み合わせて、文書全体のメタ要約を作成できます。 以下はメタ要約を実行する方法の例です:summarize_long_document
関数は、文書を小さなチャンクに分割し、各チャンクを個別に要約することで、以前のsummarize_document
関数を拡張しています。
このコードは、元の文書内の20,000文字ごとのチャンクにsummarize_document
関数を適用することでこれを実現しています。個々の要約はその後組み合わされ、これらのチャンク要約から最終的な要約が作成されます。
summarize_long_document
関数は、文書全体がClaudeのコンテキストウィンドウ内に収まるため、この例のPDFには厳密には必要ありません。ただし、Claudeのコンテキストウィンドウを超える文書や、複数の関連文書を一緒に要約する場合には不可欠になります。それにもかかわらず、このメタ要約技術は、以前の単一要約アプローチでは見落とされていた最終要約に追加の重要な詳細をしばしば捉えます。
要約インデックス付き文書を使用して大規模な文書コレクションを探索する
LLMを使用した文書コレクションの検索には、通常、検索拡張生成(RAG)が含まれます。ただし、大きな文書を含むシナリオや、正確な情報検索が重要な場合、基本的なRAGアプローチでは不十分な場合があります。要約インデックス付き文書は、従来のRAG方法よりも少ないコンテキストを使用して、検索のための文書のランク付けをより効率的に行う高度なRAGアプローチです。このアプローチでは、まずClaudeを使用してコーパス内の各文書の簡潔な要約を生成し、次にCladeを使用して各要約と問い合わせの関連性をランク付けします。このアプローチの詳細については、コードベースの例を含め、要約クックブックの要約インデックス付き文書セクションをご覧ください。データセットからの学習のためにClaudeをファインチューニングする
Claudeの要約能力を向上させるもう一つの高度な技術は、ファインチューニングです。ファインチューニングでは、Claudeを法的要約のニーズに特に合わせたカスタムデータセットでトレーニングし、ユースケースに適応させます。ファインチューニングを実行する方法の概要は以下の通りです:- エラーを特定する: Claudeの要約が不足している例を収集することから始めます - これには、重要な法的詳細の欠落、文脈の誤解、または不適切な法的用語の使用が含まれる可能性があります。
- データセットをキュレーションする: これらの問題を特定したら、これらの問題のある例のデータセットをコンパイルします。このデータセットには、元の法的文書と修正された要約を含め、Claudeが望ましい動作を学習できるようにする必要があります。
- ファインチューニングを実行する: ファインチューニングでは、キュレーションされたデータセットでモデルを再トレーニングして、その重みとパラメータを調整します。この再トレーニングにより、Claudeは法的ドメインの特定の要件をよりよく理解し、基準に従って文書を要約する能力が向上します。
- 反復的な改善: ファインチューニングは一度きりのプロセスではありません。Claudeが引き続き要約を生成する中で、パフォーマンスが不十分だった新しい例を反復的に追加し、その能力をさらに洗練させることができます。時間が経つにつれ、この継続的なフィードバックループにより、法的要約タスクに高度に特化したモデルが得られます。
ファインチューニングは現在、Amazon Bedrockを通じてのみ利用可能です。詳細はAWSの発表ブログでご確認いただけます。