Embeddings

Embeddings de texto são representações numéricas de texto que permitem medir a similaridade semântica. Este guia introduz embeddings, suas aplicações e como usar modelos de embedding para tarefas como busca, recomendações e detecção de anomalias.

Antes de implementar embeddings

Ao selecionar um provedor de embeddings, existem vários fatores que você pode considerar dependendo de suas necessidades e preferências:

• Tamanho do conjunto de dados e especificidade do domínio: tamanho do conjunto de dados de treinamento do modelo e sua relevância para o domínio que você deseja incorporar. Dados maiores ou mais específicos do domínio geralmente produzem melhores embeddings no domínio
• Desempenho de inferência: velocidade de busca de embedding e latência ponta a ponta. Esta é uma consideração particularmente importante para implantações em produção em larga escala
• Personalização: opções para treinamento contínuo em dados privados ou especialização de modelos para domínios muito específicos. Isso pode melhorar o desempenho em vocabulários únicos

Como obter embeddings com Anthropic

Anthropic não oferece seu próprio modelo de embedding. Um provedor de embeddings que tem uma ampla variedade de opções e capacidades abrangendo todas as considerações acima é a Voyage AI.

A Voyage AI desenvolve modelos de embedding de última geração e oferece modelos personalizados para domínios específicos da indústria, como finanças e saúde, ou modelos ajustados sob medida para clientes individuais.

O resto deste guia é para Voyage AI, mas incentivamos você a avaliar uma variedade de fornecedores de embeddings para encontrar o melhor ajuste para seu caso de uso específico.

Modelos Disponíveis

A Voyage recomenda usar os seguintes modelos de embedding de texto:

Modelo	Comprimento do Contexto	Dimensão do Embedding	Descrição
voyage-3-large	32.000	1024 (padrão), 256, 512, 2048	A melhor qualidade de recuperação para propósito geral e multilíngue.
voyage-3	32.000	1024	Otimizado para qualidade de recuperação de propósito geral e multilíngue. Veja o post do blog para detalhes.
voyage-3-lite	32.000	512	Otimizado para latência e custo. Veja o post do blog para detalhes.
voyage-code-3	32.000	1024 (padrão), 256, 512, 2048	Otimizado para recuperação de código. Veja o post do blog para detalhes.
voyage-finance-2	32.000	1024	Otimizado para recuperação e RAG em finanças. Veja o post do blog para detalhes.
voyage-law-2	16.000	1024	Otimizado para recuperação e RAG jurídico e de contexto longo. Também melhorou o desempenho em todos os domínios. Veja o post do blog para detalhes.

Adicionalmente, os seguintes modelos de embedding multimodal são recomendados:

Modelo	Comprimento do Contexto	Dimensão do Embedding	Descrição
voyage-multimodal-3	32000	1024	Modelo de embedding multimodal rico que pode vetorizar texto intercalado e imagens ricas em conteúdo, como capturas de tela de PDFs, slides, tabelas, figuras e mais. Veja o post do blog para detalhes.

Precisa de ajuda para decidir qual modelo de embedding de texto usar? Confira o FAQ.

Começando com Voyage AI

Para acessar os embeddings da Voyage:

1. Cadastre-se no site da Voyage AI
2. Obtenha uma chave de API
3. Configure a chave de API como uma variável de ambiente para conveniência:

export VOYAGE_API_KEY="<sua chave secreta>"

Você pode obter os embeddings usando o pacote Python oficial voyageai ou requisições HTTP, como descrito abaixo.

Pacote Python Voyage

O pacote voyageai pode ser instalado usando o seguinte comando:

pip install -U voyageai

Em seguida, você pode criar um objeto cliente e começar a usá-lo para incorporar seus textos:

import voyageai

vo = voyageai.Client()
# Isso usará automaticamente a variável de ambiente VOYAGE_API_KEY.
# Alternativamente, você pode usar vo = voyageai.Client(api_key="<sua chave secreta>")

texts = ["Texto de exemplo 1", "Texto de exemplo 2"]

result = vo.embed(texts, model="voyage-3", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings será uma lista de dois vetores de embedding, cada um contendo 1024 números de ponto flutuante. Após executar o código acima, os dois embeddings serão impressos na tela:

[0.02012746, 0.01957859, ...]  # embedding para "Texto de exemplo 1"
[0.01429677, 0.03077182, ...]  # embedding para "Texto de exemplo 2"

Ao criar os embeddings, você também pode especificar alguns outros argumentos para a função embed(). Você pode ler mais sobre a especificação aqui

API HTTP Voyage

Você também pode obter embeddings solicitando a API HTTP da Voyage. Por exemplo, você pode enviar uma requisição HTTP através do comando curl em um terminal:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Texto de exemplo 1", "Texto de exemplo 2"],
    "model": "voyage-3"
  }'

A resposta que você receberia é um objeto JSON contendo os embeddings e o uso de tokens:

{
  "object": "list",
  "data": [
    {
      "embedding": [0.02012746, 0.01957859, ...],
      "index": 0
    },
    {
      "embedding": [0.01429677, 0.03077182, ...],
      "index": 1
    }
  ],
  "model": "voyage-3",
  "usage": {
    "total_tokens": 10
  }
}

Você pode ler mais sobre o endpoint de embedding na documentação da Voyage

AWS Marketplace

Os embeddings da Voyage também estão disponíveis no AWS Marketplace. As instruções para acessar a Voyage na AWS estão disponíveis aqui.

Exemplo de Início Rápido

Agora que sabemos como obter embeddings, vamos ver um breve exemplo.

Suponha que temos um pequeno corpus de seis documentos para recuperar

documents = [
    "A dieta mediterrânea enfatiza peixe, azeite e vegetais, acreditando-se reduzir doenças crônicas.",
    "A fotossíntese nas plantas converte energia luminosa em glicose e produz oxigênio essencial.",
    "Inovações do século 20, do rádio aos smartphones, centraram-se em avanços eletrônicos.",
    "Os rios fornecem água, irrigação e habitat para espécies aquáticas, vitais para os ecossistemas.",
    "A teleconferência da Apple para discutir os resultados do quarto trimestre fiscal e atualizações de negócios está agendada para quinta-feira, 2 de novembro de 2023 às 14h PT / 17h ET.",
    "As obras de Shakespeare, como 'Hamlet' e 'Sonho de uma Noite de Verão', perduram na literatura."
]

Primeiro usaremos a Voyage para converter cada um deles em um vetor de embedding

import voyageai

vo = voyageai.Client()

# Incorporar os documentos
doc_embds = vo.embed(
    documents, model="voyage-3", input_type="document"
).embeddings

Os embeddings nos permitirão fazer busca semântica / recuperação no espaço vetorial. Dado um exemplo de consulta,

query = "Quando está agendada a teleconferência da Apple?"

convertemos em um embedding e realizamos uma busca do vizinho mais próximo para encontrar o documento mais relevante com base na distância no espaço de embedding.

import numpy as np

# Incorporar a consulta
query_embd = vo.embed(
    [query], model="voyage-3", input_type="query"
).embeddings[0]

# Calcular a similaridade
# Os embeddings da Voyage são normalizados para comprimento 1, portanto o produto escalar
# e a similaridade do cosseno são iguais.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Observe que usamos input_type="document" e input_type="query" para incorporar o documento e a consulta, respectivamente. Mais especificações podem ser encontradas aqui.

A saída seria o 5º documento, que é de fato o mais relevante para a consulta:

A teleconferência da Apple para discutir os resultados do quarto trimestre fiscal e atualizações de negócios está agendada para quinta-feira, 2 de novembro de 2023 às 14h PT / 17h ET.

Se você está procurando um conjunto detalhado de guias sobre como fazer RAG com embeddings, incluindo bancos de dados vetoriais, confira nosso cookbook RAG.

FAQ

Por que os embeddings da Voyage têm qualidade superior?

Os modelos de embedding dependem de poderosas redes neurais para capturar e comprimir o contexto semântico, semelhante aos modelos generativos. A equipe de pesquisadores experientes em IA da Voyage otimiza cada componente do processo de embedding, incluindo:

• Arquitetura do modelo
• Coleta de dados
• Funções de perda
• Seleção do otimizador

Saiba mais sobre a abordagem técnica da Voyage em seu blog.

Quais modelos de embedding estão disponíveis e qual devo usar?

Para embedding de propósito geral, recomendamos:

• voyage-3-large: Melhor qualidade
• voyage-3-lite: Menor latência e custo
• voyage-3: Desempenho equilibrado com qualidade de recuperação superior a um preço competitivo

Para tarefas de recuperação, use o parâmetro input_type para especificar o tipo de consulta ou documento.

Modelos específicos de domínio:

• Tarefas jurídicas: voyage-law-2
• Código e documentação de programação: voyage-code-3
• Tarefas relacionadas a finanças: voyage-finance-2

Qual função de similaridade devo usar?

Os embeddings da Voyage suportam:

• Similaridade por produto escalar
• Similaridade por cosseno
• Distância euclidiana

Como os embeddings da Voyage AI são normalizados para comprimento 1:

• A similaridade do cosseno é igual à similaridade do produto escalar (o cálculo do produto escalar é mais rápido)
• A similaridade do cosseno e a distância euclidiana produzem rankings idênticos

Saiba mais sobre similaridade de embedding no guia da Pinecone.

Como devo usar o parâmetro input_type?

Para tarefas de recuperação, incluindo RAG, sempre especifique input_type como “query” ou “document”. Esta otimização melhora a qualidade da recuperação através de prefixação especializada de prompts:

Para consultas:

Represente a consulta para recuperar documentos de suporte: [sua consulta]

Para documentos:

Represente o documento para recuperação: [seu documento]

Nunca omita input_type ou defina-o como None para tarefas de recuperação.

Para classificação, agrupamento ou outras tarefas MTEB usando voyage-large-2-instruct, siga as instruções em nosso repositório GitHub.

Quais opções de quantização estão disponíveis?

A quantização reduz armazenamento, memória e custos convertendo valores de alta precisão para formatos de menor precisão. Tipos de dados de saída disponíveis (output_dtype):

Tipo	Descrição	Redução de Tamanho
float	Ponto flutuante de precisão simples de 32 bits (padrão)	Nenhuma
int8/uint8	Inteiros de 8 bits (-128 a 127 / 0 a 255)	4x
binary/ubinary	Valores de bit único empacotados	32x

Tipos binários usam inteiros de 8 bits para representar bits empacotados, com binary usando método binário deslocado.

Exemplo: A quantização binária converte oito valores de embedding em um único inteiro de 8 bits:

Original: [-0.03955078, 0.006214142, -0.07446289, -0.039001465, 
          0.0046463013, 0.00030612946, -0.08496094, 0.03994751]
Binary:   [0, 1, 0, 0, 1, 1, 0, 1] → 01001101
uint8:    77
int8:     -51 (usando binário deslocado)

Como posso truncar embeddings Matryoshka?

Embeddings Matryoshka contêm representações do grosseiro ao fino que podem ser truncadas mantendo as dimensões principais. Aqui está como truncar vetores 1024D para 256D:

import voyageai
import numpy as np

def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normaliza vetores de embedding para comprimento unitário.
    Levanta ValueError se alguma linha tiver norma zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Não é possível normalizar linhas com norma zero.")
    return v / row_norms

# Inicializar cliente
vo = voyageai.Client()

# Gerar vetores 1024D
embd = vo.embed(['Texto de exemplo 1', 'Texto de exemplo 2'], 
               model='voyage-code-3').embeddings

# Truncar para 256D
short_dim = 256
resized_embd = embd_normalize(
    np.array(embd)[:, :short_dim]
).tolist()

Preços

Visite a página de preços da Voyage para os detalhes de preços mais atualizados.