Claude pode interagir com ambientes de computador através da ferramenta de uso do computador, que fornece capacidades de captura de tela e controle de mouse/teclado para interação autônoma com desktop.
"computer-use-2025-01-24"
(modelos Claude 4 e Claude Sonnet 3.7)"computer-use-2024-10-22"
(Claude Sonnet 3.5 (descontinuado))Modelo | Versão da Ferramenta | Flag Beta |
---|---|---|
Modelos Claude 4 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.7 | computer_20250124 | computer-use-2025-01-24 |
Claude Sonnet 3.5 v2 (descontinuado) | computer_20241022 | computer-use-2024-10-22 |
1. Forneça ao Claude a ferramenta de uso do computador e um prompt do usuário
2. Claude decide usar a ferramenta de uso do computador
stop_reason
de tool_use
, sinalizando a intenção do Claude.3. Extraia a entrada da ferramenta, avalie a ferramenta em um computador e retorne os resultados
user
contendo um bloco de conteúdo tool_result
.4. Claude continua chamando ferramentas de uso do computador até completar a tarefa
stop_reason
de tool_use
e você deve retornar ao passo 3.Modelos Claude 4
computer_20250124
, inclua esta flag beta:Claude Sonnet 3.7
computer_20250124
, inclua esta flag beta:Claude Sonnet 3.5 v2 (descontinuado)
computer_20241022
, inclua esta flag beta:Após cada passo, tire uma captura de tela e avalie cuidadosamente se você alcançou o resultado correto. Mostre explicitamente seu pensamento: "Eu avaliei o passo X..." Se não estiver correto, tente novamente. Apenas quando você confirmar que um passo foi executado corretamente deve prosseguir para o próximo.
<robot_credentials>
. Usar o uso do computador dentro de aplicações que requerem login aumenta o risco de resultados ruins como resultado de injeção de prompt. Por favor revise nosso guia sobre mitigar injeções de prompt antes de fornecer ao modelo credenciais de login.Você tem acesso a um conjunto de funções que pode usar para responder à pergunta do usuário. Isso inclui acesso a um ambiente de computação isolado. Você NÃO tem atualmente a capacidade de inspecionar arquivos ou interagir com recursos externos, exceto invocando as funções abaixo.Como no uso regular de ferramentas, o campo
system_prompt
fornecido pelo usuário ainda é respeitado e usado na construção do prompt do sistema combinado.
[x, y]
computer_20250124
)
Disponível em modelos Claude 4 e Claude Sonnet 3.7:
Ações de exemplo
Parâmetro | Obrigatório | Descrição |
---|---|---|
type | Sim | Versão da ferramenta (computer_20250124 ou computer_20241022 ) |
name | Sim | Deve ser “computer” |
display_width_px | Sim | Largura do display em pixels |
display_height_px | Sim | Altura do display em pixels |
display_number | Não | Número do display para ambientes X11 |
thinking
à sua solicitação da API:
budget_tokens
especifica quantos tokens Claude pode usar para pensar. Isso é subtraído do seu orçamento geral de max_tokens
.
Quando o pensamento está habilitado, Claude retornará seu processo de raciocínio como parte da resposta, o que pode ajudá-lo a:
tool_use
usando suas implementações de ferramentasConfigure seu ambiente de computação
Implemente manipuladores de ação
Processe as chamadas de ferramenta do Claude
Implemente o loop do agente
Falha na captura de tela
Coordenadas inválidas
Falha na execução da ação
Use resolução de display apropriada
Implemente manuseio adequado de capturas de tela
Adicione atrasos de ação
Valide ações antes da execução
Registre ações para depuração
left_mouse_down
, left_mouse_up
e novo suporte a teclas modificadoras. A seleção de células pode ser mais confiável usando esses controles de granularidade fina e combinando teclas modificadoras com cliques.Model | Input tokens per tool definition |
---|---|
Claude 4 / Sonnet 3.7 | 735 tokens |
Claude Sonnet 3.5 (deprecated) | 683 tokens |