Um sistema RAG procura passagens em uma base de documentos para ajudar um modelo a responder. Sua confiabilidade depende, antes de tudo, dos documentos, seus direitos de acesso e seu frescor. Comece com um perímetro controlado, com respostas verificáveis, antes de expandir o corpus.
Escolha perguntas úteis
Liste as tarefas que o assistente deve ajudar a realizar: entender uma oferta, preparar uma intervenção ou encontrar um procedimento. Descarte questões que exigem dados ausentes ou uma decisão não documentada. Para cada um, identifique o documento de referência e seu gerente. Uma coleção volumosa de PDF ainda não é uma base acionável. O escopo deve ser explicado aos usuários.
Limpe sem limpar as condições
Remova duplicatas obsoletas e identifique a versão aplicável. Preservar títulos, datas, unidades, exceções e links. Uma tarifa sem período de validade ou procedimento sem pré-requisitos pode levar a uma resposta enganosa. Mantenha a origem de cada passagem para que a interface se refira ao documento, e não apenas uma extração impossível de encontrar. Também atribua uma data de revisão agendada.
Construa um inventário de documentário acionável
Para um projeto de site, o corpus de pilotos pode ser limitado a uma oferta, seu procedimento de contato e documentos públicos que explicam sua implementação. Esse escopo permite que você verifique as respostas sem confundir um assistente de informações com uma ferramenta com acesso aos arquivos do cliente. A base de conhecimento deve ser governada como conteúdo do site: alguém decide o que é aplicável e o que precisa ser removido.
| Campo | Matéria de controle | Consequência prática |
|---|---|---|
| ID e versão | Podemos encontrar o documento exato? | Conecte cada passagem a uma versão estável |
| Público autorizado | Quem pode visualizar essas informações? | Aplicar direitos antes da restituição |
| Período de validade | A regra ainda é aplicável? | Remover ou revisar passagens vencidas |
| Responsável | Quem pode confirmar uma contradição? | Forneça a validação em vez de deixar o modelo escolher |
| pergunta abordada | Que decisão o documento permite? | Teste o corpus em uma necessidade real |
Um documento pode ser útil para a equipe sem ser adaptado a um assistente público. Uma nota interna que contém exceções comerciais não se torna publicável porque é tecnicamente indexável. A filtragem deve ser usada no aplicativo e no dispositivo de pesquisa, não apenas em um ponto de ajuste pedindo ao modelo que permaneça discreto.
Recorte de acordo com as ideias
O guia de Hugging Face apresenta uma divisão de corpus em passagens usadas para pesquisa. Não existe um tamanho universal. Nosso ponto de partida prático é manter uma regra, suas condições e sua exceção juntos, então testar as questões reais. Se a passagem recuperada misturar vários produtos, procure uma fronteira editorial mais clara, em vez de aumentar arbitrariamente o contexto.
Exemplo fictício: documentação de manutenção
Uma equipe possui três versões de um procedimento de backup. Ele mantém a versão aprovada no escopo do piloto, arquiva os antigos fora da pesquisa atual e designa um gerente. A pergunta "Posso restaurar sozinha?" Deve encontrar o acesso e as validações necessários, em vez de uma mensagem de suporte antiga. Você pode verificar essa espera antes de escolher a interface de bate-papo.
Teste de corte com uma regra e sua exceção
Pegue uma regra de documentação fictícia: o meio responde durante os horários publicados; Um serviço específico pode prever condições diferentes. Se a divisão separar a regra dessa condição, o sistema pode ter uma resposta muito geral. Mantenha em cada passagem o contexto necessário para sua compreensão e referência ao documento completo. Um tamanho de fragmento escolhido aleatoriamente não resolve esse problema editorial.
- Prepare uma pergunta simples cuja resposta esteja em um único documento e, em seguida, uma pergunta que requer a leitura de uma condição ou exceção. Observe as passagens esperadas.
- Inspecione o que a pesquisa se recuperou antes de ler a resposta final. Uma resposta elegante pode mascarar uma passagem insuficiente ou uma versão antiga.
- Adicione uma pergunta sem resposta no corpus. O resultado esperado é uma indicação de limite e uma maneira de entrar em contato com uma pessoa, não uma invenção plausível.
- Teste uma exclusão ou revisão de um documento. Verifique se as passagens antigas não estão disponíveis em índices, caches ou links de referência.
Os guia RAG da Hugging Face ilustra várias opções de corte e pesquisa; Suas configurações não são um valor universal a ser copiado. Sua teste de aceitação deve decidir se o corpus responde às suas perguntas. O próximo passo é um Avaliação separada de pesquisas e respostas, antes de expandir o chatbot para todas as páginas do site.
Se o corpus contiver páginas externas ou documentos recebidos, adicione um Testes de aceitação contra a injeção de prompts. O controle cobre o acesso e as ações possíveis do aplicativo, mesmo quando uma resposta parece seguir as instruções.
Teste o direito de não responder
Adicione perguntas fora do perímetro e solicite que o corpus não responda. O assistente deve reconhecer a ausência e consultar um interlocutor. Controle o respeito pelos direitos do usuário em cada etapa. Planeje uma rotina de atualização e uma Verificação das respostas geradas. Um piloto limitado ajuda a identificar lacunas documentais sem ocultá-las por trás de uma resposta suave.