Pesquisar
Introduza pelo menos dois caracteres, sem dados pessoais.

    BibliotecaArtigos e FAQs Seu projetoSolicite um orçamento
    LínguaPT ▾
    Guias práticos

    Avalie uma ferramenta de IA antes de integrá-la em um site

    Uma demonstração bem-sucedida não prova que uma ferramenta de IA se adequa aos seus visitantes ou equipe. A seleção requer casos de teste, limites explícitos e uma maneira de retomar a tarefa.

    Veja o método

    Ilustração — Avalie uma ferramenta de IA antes de integrá-la em um site
    Ilustração gerada por IA

    Definir uma tarefa e sua qualidade exigida

    Escolha uma tarefa específica: sugira títulos, classifique as consultas, traduza uma página ou uma resposta da documentação. Defina o resultado esperado e o que constituiria um erro significativo. A assistência à redação interna tem consequências diferentes em relação a uma resposta pública sobre preços, prazos ou termos contratuais.

    Os Estrutura de gerenciamento de risco da AI do NIST e seu perfil generativo-IA oferece referências para a avaliação de organização. Eles não aprovam um determinado produto. Seus critérios devem conectar os riscos à tarefa, ao público e ao uso de sua saída.

    • tarefa e público.
    • resultado verificável.
    • erros aceitáveis e de bloqueio.
    • Proprietário da decisão.

    Revisar dados e o caminho de saída

    Liste os dados enviados ao serviço, pessoas que podem acessá-los, regras de retenção e termos de uso declarados. Verifique isso na documentação e contrato do fornecedor. Não assuma que todos os produtos de uma empresa têm as mesmas condições. Uma conta de consumidor, uma API e um plano corporativo podem ser diferentes.

    Prepare exemplos sintéticos anonimizados ou claramente rotulados para testes iniciais. Defina o que pode ser exportado, como mudar de fornecedor e qual tarefa permanece possível durante uma interrupção. Armazene instruções, fontes e avaliações para que a próxima equipe do projeto possa entendê-las.

    • Dados permitidos para testes.
    • termos específicos para a oferta.
    • Acesso, retenção e exportação.
    • fallback manual.

    Construa um conjunto de testes pequeno, mas exigente

    Classificação fictícia de 100 casos: 6 verdadeiros positivos, 2 falsos positivos, 4 falsos negativos e 88 verdadeiros negativos.
    Ilustração · Exercício fictício sem atribuir desempenho a uma ferramenta. REF é a referência revista e MODEL a decisão testada; + significa «a rever». TP: verdadeiro positivo; FP: falso positivo; FN: falso negativo; TN: verdadeiro negativo.

    Colete casos representativos e difíceis: informações ausentes, fontes conflitantes, ambiguidade, outro idioma e tentativas de desvio de instruções. Defina as respostas de referência ou os critérios de aceitação antes do teste. Uma ferramenta que se recusa a responder quando faltam informações pode ser mais útil do que aquela que produz uma invenção convincente.

    Meça a precisão, omissões, referências, latência e custo separadamente no cenário escolhido. Revise as saídas múltiplas porque a geração pode variar. Mantenha o modelo ou a versão da oferta quando conhecido, configurações úteis, datas de teste e exemplos. Uma única pontuação total não deve ocultar a falha em uma tarefa essencial.

    Exercício fictício de classificação de pedidos, sem atribuir resultados a uma ferramenta: de 100 casos de referência, 10 exigem revisão humana e 90 não. A regra assinala 8: 6 realmente a rever (TP) e 2 falsos alarmes (FP). Falha 4 casos a rever (FN) e exclui corretamente os outros 88 (TN). A exatidão global, accuracy, é (6 + 88) / 100 = 94 %. A precisão dos alertas, precision, é porém 6 / 8 = 75 % e a sensibilidade, recall, apenas 6 / 10 = 60 %.

    As métricas respondem a perguntas distintas: decisões corretas, alertas justificados e casos-alvo encontrados. O curso de classificação Google explica os denominadores; accuracy elevada pode esconder casos raros falhados. Fixe definição do positivo, eventual limiar e conjunto de referência antes de comparar e guarde as quatro contagens. Um denominador zero torna a fração indefinida; não o transforme arbitrariamente em sucesso. Estas métricas de classificação não medem, por si só, qualidade factual de texto gerado nem fiabilidade geral.

    • Casos representativos e de borda.
    • Os critérios acordados antes do teste.
    • Erros documentados por exemplo.
    • Versão de teste e data.

    Desloque a tabela horizontalmente para ler todas as colunas. Com o teclado, coloque o foco na tabela e utilize as teclas de seta.

    Exercício fictício: três métricas da mesma classificação
    MétricaCálculo no conjunto fictícioSignificado do denominador
    Exatidão global (accuracy)(6 + 88) / 100 = 94 %Todas as classificações, corretas ou incorretas
    Precisão dos alertas (precision)6 / (6 + 2) = 75 %Os oito casos assinalados
    Sensibilidade (recall)6 / (6 + 4) = 60 %Os dez casos que exigiam revisão
    Casos falhados (FN)FN = 4Quatro positivos reais sem alerta

    Limite a implantação e reavalie ao longo do tempo

    Comece com as saídas revisadas. Para um Assistente Público, restrinja as ações possíveis, disponibilize fontes e forneça um contato humano quando uma solicitação estiver fora de seu mandato. Teste a recuperação após interrupções, respostas inválidas e alterações de documentos. Observe os resultados sem reter desnecessariamente os dados pessoais.

    Repita os testes quando os modelos, instruções, documentação ou recursos mudam. Os Guia de verificação de origem Suporta revisão editorial. OsDiretório de recursos da AI Oferece pontos de partida oficiais para comparar serviços sem garantir seus resultados.

    Documentos de referência

    Conteúdo atualizado

    Matriz de validação funcional para se adaptar ao projeto

    Esses controles propostos usam casos fictícios. Decida qual comportamento é esperado com a equipe, anote o resultado e atribua discrepâncias não resolvidas antes da publicação.

    Desloque a tabela horizontalmente para ler todas as colunas. Com o teclado, coloque o foco na tabela e utilize as teclas de seta.

    Casos de teste, resultados esperados e evidências úteis
    CasoResultado esperadoProva para guardar
    Uma resposta cita uma fonte que não suporta sua afirmação.Marque sem suporte e aplique a regra de revisão definida.Mantenha suposições, resultados e decisões.

    Perguntas frequentes

    Quantos testes são necessários?

    Depende do alcance e das consequências das tarefas. Comece com exemplos representativos, adicione falhas observadas anteriormente e cubra situações críticas. Um pequeno conjunto bem projetado é mais útil do que muitas demonstrações fáceis.

    O conteúdo gerado deve ser revisado?

    O nível de revisão depende do contexto. Antes da publicação editorial, verifique os fatos, fontes, direitos, consistência e redação. Preços, disponibilidade e compromissos não devem ser inventados a partir da produção do modelo.