Utilização do chatgpt para elaboração de questões de múltipla escolha em cursos da área da saúde

Abstract

RESUMO Introdução: A inserção da inteligência artificial (IA) na educação em saúde tem crescido por meio de modelos de linguagem de grande escala como o ChatGPT, que apresentam potencial para apoiar processos de ensino, aprendizagem e avaliação. No contexto avaliativo, a elaboração de questões de múltipla escolha (QME) exige tempo, domínio técnico e alinhamento pedagógico. Nesse cenário, a IA surge como estratégia promissora para apoiar a construção de itens avaliativos, embora persistam preocupações quanto à qualidade, confiabilidade e ética. Objetivo: Avaliar a utilização do ChatGPT na elaboração de questões de múltipla escolha para cursos da área da saúde. Métodos: Estudo de avaliação de intervenção educacional, desenvolvido com docentes e estudantes de cursos de graduação da Faculdade Pernambucana de Saúde (FPS), no período de novembro de 2024 a novembro de 2025. A pesquisa foi conduzida em quatro etapas sequenciais: Aplicação de formulários para avaliação do conhecimento prévio e da experiência de docentes e estudantes com o ChatGPT; Construção de um prompt padrão fundamentado em diretrizes de engenharia de prompt e boas práticas de elaboração de itens; Elaboração e validação de QME produzidas pela IA, com revisão por especialistas; e Aplicação de testes contendo questões elaboradas por docentes e pelo ChatGPT. A análise dos dados incluiu estatística descritiva e a análise psicométrica das questões com base na Teoria Clássica dos Testes. O estudo foi aprovado pelo Comitê de Ética em Pesquisa da FPS, sob. o CAAE nº 84195624.0.0000.5569, parecer nº 7.238.823. Resultados: Esta dissertação foi apresentada em dois formatos. O primeiro consistiu em um artigo científico intitulado: “Utilização do ChatGPT para Elaboração de Questões de Múltipla Escolha em Cursos da Saúde”. Na etapa inicial, participaram 203 estudantes e 109 docentes, que identificaram o ChatGPT como a ferramenta de IA mais utilizada e considerada útil para apoio educacional, embora não seja vista como fonte confiável, reforçando a necessidade de verificação das respostas produzidas. A partir desses achados, foi desenvolvido um prompt padronizado para a elaboração de QME por IA. As 60 questões geradas foram submetidas à validação docente, resultando em 43 ajustes, relacionados à qualidade dos distratores, ao contexto das questões e à formulação dos enunciados. Na etapa final, as questões validadas foram aplicadas em testes formativos com 342 estudantes e comparadas às elaboradas por docentes. A análise psicométrica demonstrou dificuldade semelhante entre os itens produzidos por IA e os tradicionais (p = 0,066), menor poder de discriminação para os itens de IA (0,19 vs. 0,28; p = 0,013), não havendo diferença significativa na qualidade dos distratores (p = 0,242). Paralelamente, foi desenvolvido um produto técnico no formato de e-book intitulado: 8 “Inteligência Artificial na Elaboração de Questões de Múltipla Escolha: Orientações para um Prompt Padrão”, com orientações pedagógicas, princípios de avaliação, diretrizes de engenharia de prompt e recomendações éticas para o uso responsável da IA, estando disponível em repositório institucional. Considerações Finais: A utilização do ChatGPT configura-se como recurso pedagógico complementar com impacto prático para a elaboração de QME na área da saúde, desde que mediada por prompts estruturados, validação especializada e formação pedagógica adequada. Nessas condições, pode contribuir para a otimização do tempo docente, bem como para a ampliação, qualificação e padronização técnica dos bancos de questões. Dessa forma, a IA surge como estratégia viável de apoio à prática avaliativa docente, desde que associada ao desenvolvimento de competências pedagógicas, ao uso crítico e à validação sistemática dos itens produzidos. Palavras-chave: inteligência artificial; universidade; questões de prova; avaliação educacional; ChatGPT.