O que o ChatGPT pode e não pode fazer pela inteligência

Em novembro de 2022, o ChatGPT emergiu como um favorito entre os grandes modelos de linguagem (LLMs) de inteligência artificial (IA), chamando a atenção da CIA e de outras agências de defesa dos EUA. A inteligência artificial geral – IA com raciocínio flexível como o dos humanos – ainda está além do horizonte tecnológico e pode nunca acontecer. Mas a maioria dos especialistas concorda que os LLMs são um grande avanço tecnológico. A capacidade dos LLMs de produzir resultados úteis em algumas tarefas e errar totalmente o alvo em outras oferece um vislumbre das capacidades e restrições da IA ​​na próxima década.

As perspectivas do ChatGPT para inteligência são mistas. Por um lado, a tecnologia parece "impressionante" e "assustadoramente inteligente", mas, por outro lado, seus próprios criadores alertaram que "pode ​​criar uma impressão enganosa de grandeza". Na ausência de um consenso de especialistas, pesquisadores e profissionais devem explorar o potencial e as desvantagens da tecnologia para inteligência. Para resolver essa lacuna, nós - acadêmicos que estudam análise de inteligência e um engenheiro de tecnologia da informação - procuramos testar a capacidade do ChatGPT (GPT-4) de complementar o trabalho dos analistas de inteligência. Nós o submetemos a um teste preliminar usando o famoso pedido de Colin Powell: "Diga-me o que você sabe. Diga-me o que você não sabe. Então você pode me dizer o que pensa." Para cada tarefa, fornecemos a saída do ChatGPT para que os leitores possam reproduzir as análises e tirar suas próprias conclusões.

Com base nessas descobertas, parece possível que o ChatGPT e seus sucessores possam eliminar aspectos do trabalho do analista de inteligência (por exemplo, resumir tedioso, embora reconheçamos que o ChatGPT não resume de uma forma que um humano reconheceria) e complementar outros (por exemplo, auxiliando na geração de críticas para produtos analíticos). Apesar desses recursos, notamos como outros que o ChatGPT tem limitações notáveis ​​(por exemplo, extração de redes sociais). Ele também transformará as habilidades analíticas de tradecraft em equipes humanas de IA, onde "fazer a pergunta certa" se expande para incluir "engenharia imediata". A engenharia de prompt é o processo de otimização da maneira como as perguntas ou prompts são apresentados para extrair respostas definidas de um modelo de IA. Os LLMs também criarão novos riscos, por meio de táticas como "envenenamento de dados", conforme explicamos a seguir.

Como funciona o ChatGPT

ChatGPT, ou transformador pré-treinado generativo, é um tipo de modelo de IA que gera texto de acordo com as informações fornecidas. É como um ator improvisador (improv) que aprendeu com um grande número de roteiros e que pode fazer conexões entre diferentes tópicos. A IA, como o hipotético improvisador, é limitada às informações fornecidas. O ChatGPT foi treinado com informações até 2021, embora os modelos de teste beta disponíveis sejam extraídos de dados de treinamento da Web em tempo real.

O ChatGPT é "ensinado" em duas etapas principais. Primeiro, ele aprende os fundamentos de um domínio de conhecimento estudando um enorme corpus de texto. Em seguida, ele é ajustado para executar tarefas específicas usando exemplos e orientações. Por meio desse método, torna-se melhor responder às perguntas e declarações dos usuários. A precisão de suas respostas depende de vários fatores, incluindo a qualidade dos dados fornecidos ao modelo e as técnicas de engenharia rápidas empregadas, entre outros.

A dependência do modelo em dados de treinamento apresenta riscos de dados inocentemente falsos (desinformação) a dados intencionalmente falsos (desinformação). O ChatGPT pode refletir vieses nos dados de treinamento, potencialmente distorcendo a imparcialidade e a objetividade de sua saída gerada. Relatos da mídia sobre resultados tendenciosos do ChatGPT sobre figuras políticas controversas como Donald Trump e Joe Biden ilustram esse ponto. Outro risco é quando o modelo é "envenenado" por adversários que propositalmente contaminam os dados de treinamento. Como os LLMs dependem fortemente da qualidade de seus dados de treinamento, os dados envenenados podem incorporar padrões nefastos que são difíceis de detectar e mitigar.

Quão bem o usuário explica o que deseja que o ChatGPT faça - conhecido como engenharia de prompt - é fundamental para obter melhores resultados do sistema. Em sua forma atual, a saída do ChatGPT está em um nível superficial, pelo menos sem prompts significativos e cuidadosos.