5 Maneiras de Construir Agentes de IA Confiáveis



Descubra como a Salesforce constrói confiança em agentes de IA com design ético, testes rigorosos e padrões inovadores que garantem transparência, segurança e colaboração fluida entre humanos e IA.
Imagine um mundo onde agentes de IA cuidam de muitas das suas tarefas cotidianas, liberando seu tempo para se concentrar no que realmente importa — construir relacionamentos, tomar decisões estratégicas e inovar. Esse não é um sonho distante: é a realidade que estamos moldando em parceria com nossos clientes na Salesforce. No entanto, o potencial dos agentes de inteligência artificial (IA) só pode ser realizado se houver confiança para que atuem em nome das pessoas. À medida que entramos nessa nova era da IA com capacidade de ação, é fundamental desenvolver agentes que sejam não apenas eficazes, mas também confiáveis.
Como construímos agentes de IA confiáveis? Começamos projetando sistemas de IA que permitem que humanos colaborem de forma segura e fácil com a tecnologia. Nossa abordagem é baseada em um design intencional e controles em nível de sistema que destacam e priorizam transparência, responsabilidade e salvaguardas.
O que virá pela frente:
6 estratégias para usar IA generativa com segurança



Padrões de confiança para o Agentforce
A confiança na IA ainda está em estágio inicial. Muitos clientes esperam que os humanos continuem envolvidos em quase todos os casos de uso, especialmente aqueles considerados de alto risco. Nosso Escritório de Uso Ético e Humanitário aborda essa questão ao cocriar e codesenvolver controles e processos éticos. Colaboramos com as equipes de Produto, Engenharia e Design do Agentforce, além de nossos colegas das áreas Jurídica, Segurança, Privacidade, Pesquisa em IA e Pesquisa & Insights, para implementar padrões de confiança que ajudam a criar agentes de IA confiáveis.
Esses padrões — diretrizes padrão implementadas em nossos produtos de IA — foram projetados para melhorar a segurança, a precisão e a confiança, ao mesmo tempo que capacitam os usuários humanos. Nosso conjunto mais recente de padrões foi desenvolvido para garantir que nossas soluções de IA com capacidade de ação, incluindo o Agentforce, alcancem esses objetivos. Aqui estão os cinco principais padrões para construir agentes de IA confiáveis.
1. Reduza alucinações com classificação de tópicos
Um tópico é uma categoria de ações relacionadas a uma tarefa específica que um agente deve realizar. Tópicos contêm ações, que são as ferramentas disponíveis para a tarefa, e instruções, que orientam o agente sobre como tomar decisões. Coletivamente, os tópicos definem o alcance das capacidades que um agente pode gerenciar. Um agente de atendimento ao cliente baseado em IA pode ter tópicos definidos para lidar com status de pedidos, garantias, devoluções, reembolsos e trocas — qualquer outro assunto seria direcionado para a fila de um humano. Dessa forma, o agente de IA evita tentar responder a perguntas fora de sua competência, reduzindo a propensão a gerar respostas incorretas ou “alucinações”.
Os tópicos também podem gerenciar e redirecionar entradas e saídas indesejadas. Por exemplo, um administrador pode configurar um tópico dedicado à injeção de prompts, que o agente pode usar caso uma pessoa pergunte sobre informações proprietárias ou de sistema que estejam fora do escopo previsto para o agente.
2. Limite a frequência de e-mails gerados pelo agente
Os administradores podem definir um limite para a frequência de envios de e-mails gerados pela IA, proporcionando uma melhor experiência para os destinatários. Por exemplo, não seria desejável que um Representante de Desenvolvimento de Vendas do Agentforce (ASDR) entrasse em contato com o mesmo prospect 100 vezes em um minuto. Estabelecer um limite na frequência de e-mails durante a configuração evita excessos, reduz a fadiga de e-mails e a taxa de cancelamento de assinatura, além de preservar a integridade do domínio de e-mail.
3. Respeite a privacidade do usuário com recursos de exclusão
Os produtos Agentforce permitem que clientes e prospects optem por não receber comunicações. Esse recurso, integrado diretamente ao nosso software de gerenciamento de relacionamento com o cliente (CRM), oferece uma experiência fluida, permitindo que as pessoas controlem a quantidade de comunicações e e-mails que desejam receber.
4. Crie transparência desde o design
Para construir confiança, é essencial que os usuários saibam quando estão interagindo com um agente de IA. Por padrão, os produtos Agentforce utilizam uma linguagem padrão para alertar administradores e gerentes de agentes quando estão prestes a implementar ou usar agentes de IA. Essas notificações destacam as capacidades e limitações da IA, garantindo uma compreensão clara de seu impacto e potencial. Ferramentas como o ASDR incluem divulgações padrão para garantir que os destinatários de e-mails gerados por agentes saibam que foram criados e enviados por IA. Uma divulgação padrão aparece nas primeiras duas frases de um e-mail gerado, podendo ser editada pelo funcionário responsável pelo agente. Além disso, um aviso não removível e não editável abaixo da linha de assinatura adiciona um nível extra de transparência.
5. Garanta transições suaves entre IA e humanos
Uma implementação bem-sucedida de IA com capacidade de ação requer transições fluídas entre agentes de IA e os trabalhadores humanos que eles apoiam. Por exemplo, o ASDR faz isso copiando um gerente de vendas em cada e-mail enviado pelo agente ou compartilhando informações apropriadas em canais do Slack. O mesmo ocorre com o Agentforce Service Agent, que assegura uma transição eficiente entre o agente de atendimento de IA e o representante de serviço humano. Essa abordagem promove uma parceria entre IA e humanos em cada interação, ao mesmo tempo que fortalece a confiança. No futuro, dashboards podem oferecer uma forma mais eficiente de garantir a supervisão humana e a responsabilidade dos agentes de IA.
Esses padrões de confiança são implementados em complemento ao Einstein Trust Layer, um elemento fundamental de nossos sistemas de IA que assegura transparência e controle. Dentro do Trust Layer, está o recurso Audit Trail, que permite aos usuários visualizar o que o agente de IA fez, por que fez e quais foram os resultados de suas ações. Esse nível de transparência é crucial para construir confiança e garantir que a IA opere dentro de limites éticos.
Orientação ao usuário e diretrizes
Trabalhamos de perto com as equipes do Agentforce para incorporar orientações éticas e diretrizes diretamente na interface do usuário e nos documentos de suporte do produto. Isso inclui recursos abrangentes de ajuda e treinamento para garantir que quem está configurando e utilizando a ferramenta compreenda como trabalhar com a IA.
Também desenvolvemos melhores práticas com base em pesquisa e testes para ajudar os clientes a aproveitarem ao máximo seus agentes. Algumas das melhores práticas incluem:
- Comece com instruções mínimas para os tópicos. Ao configurar um novo tópico, inicie com o conjunto mais simples de instruções necessário para alcançar um fluxo de trabalho básico de ponta a ponta.
- Seja transparente sobre o uso da IA. Ao enviar comunicações, não represente erroneamente o remetente como uma pessoa. Adicione um texto que identifique claramente o remetente como um agente de IA e explique a natureza autogerada das comunicações.
- Respeite o horário comercial. Certifique-se de que as mensagens sejam enviadas em horários em que os destinatários provavelmente estarão disponíveis. Leve em conta o fuso horário do destinatário.
Verifique a confiança com testes éticos
Para garantir a confiabilidade de nossos agentes de IA e das salvaguardas associadas, realizamos testes rigorosos e red teaming, incluindo testes adversariais. Antes do lançamento do Agentforce, submetemos nossos agentes de IA a mais de 8.000 entradas adversariais para avaliar seus limites sob pressão. Também envolvemos colaboradores com diversas perspectivas, origens e experiências de vida nos testes de confiança, assegurando que nossos sistemas de IA atendam aos mais altos padrões de confiabilidade e integridade.
Agentforce: Construído com IA confiável
Construir confiança na IA é uma jornada que exige design cuidadoso, testes rigorosos e inovação contínua. Enquanto olhamos para o futuro, estamos empolgados em continuar evoluindo nossos padrões de confiança e capacidades de IA para incluir diretrizes sobre restrições de tópicos, escalonamento automático para humanos, funcionalidades de monitoramento e inovações aprimoradas no Trust Layer.
Ao focarmos em design intencional, controles em nível de sistema e na implementação de padrões de confiança, estamos abrindo caminho para um futuro em que humanos e IA possam trabalhar juntos de maneira fluida e eficaz. À medida que continuamos a expandir nossas capacidades de IA, permanecemos comprometidos em orientar nossos clientes rumo a um futuro mais autônomo, com controles e processos cuidadosamente planejados.
Conheça o Agentforce
Humanos e Agentes se unem pelo sucesso do cliente. Crie e personalize agentes de IA autônomos para ajudar continuamente seus colaboradores e clientes.

