SciCritic vs. ChatGPT para ler artigo científico: o que cada um faz e o que cada um inventa

O hábito já é a regra

Numa pesquisa da Doximity com médicos dos Estados Unidos, 94% relataram usar ou ter interesse em usar IA no trabalho, e a busca de literatura aparece entre os usos mais comuns. Não há motivo para achar que fisioterapeutas, nutricionistas, educadores físicos e enfermeiros no Brasil sejam diferentes. A pergunta útil não é "devo usar IA?", e sim "esta IA está fazendo o que eu acho que está?".

O que o ChatGPT faz bem

• Explicar um conceito. O que é intenção de tratar, o que significa I² de 80%, como ler um forest plot. Ele responde bem e em português.
• Ajudar a montar a pergunta. Transformar uma dúvida vaga em PICO e sugerir termos de busca em inglês.
• Reescrever e resumir um texto que você colou. Quando o conteúdo está na conversa, ele trabalha sobre o conteúdo.
• Fazer perguntas de volta. Um bom uso é pedir que ele liste o que você deveria verificar num ensaio antes de confiar nele.

Onde ele erra, e por que

Um modelo de linguagem gera o texto mais provável dado o que viu no treinamento. Quando você pergunta "quais estudos mostram que Pilates reduz dor lombar?", ele não consulta uma base: ele produz frases com a forma de uma referência. Autores plausíveis, revista plausível, ano plausível, DOI com o formato certo. Uma parte existe; outra parte não. Um levantamento publicado em 2026 estimou mais de 146 mil citações inventadas por modelos de linguagem em artigos de 2025, e a tendência é de alta.

Para leitura crítica, isso gera quatro problemas específicos:

1. Ele responde sobre um artigo que não leu. Sem o PDF na conversa, o "resumo" vem da memória do treinamento, misturado com outros estudos parecidos. Números, populações e conclusões trocam de lugar.
2. Mesmo com o PDF, ele não aplica um instrumento. "Avalie o risco de viés" produz um parecer em prosa, diferente a cada vez, sem os domínios do RoB 2 nem os itens da AMSTAR 2. Não dá para comparar dois artigos avaliados assim.
3. Ele não cita o trecho. Quando diz que "a alocação foi sigilosa", você não sabe se isso está no artigo ou foi presumido. Conferir custa mais tempo do que ler.
4. Ele é confiante do mesmo jeito quando acerta e quando erra. O tom não muda. Para um leitor com pouca prática em metodologia, essa é a parte mais perigosa.

O que o SciCritic faz diferente

O que o SciCritic também não faz (para ser justo)

• Ele também usa um modelo de linguagem. O julgamento é da IA, ancorado no texto e no instrumento, e pode errar. A diferença é que o erro fica visível: o trecho citado está ali para você conferir.
• Ele lê texto, não imagem. Um número que só existe num gráfico ou numa tabela em formato de figura não entra na análise. A regra do produto é não citar número que não esteja no texto, justamente para não inventar.
• Ele não substitui a sua leitura. A análise é o começo; a decisão clínica considera o paciente, a sua experiência e o contexto, e isso é seu.
• A validação tem escopo. O estudo que validou o SciCritic (TCC na Universidade Presbiteriana Mackenzie, 2026, conduzido pelo próprio desenvolvedor) avaliou conteúdo e usabilidade com 9 especialistas e 39 usuários, com índice de validade de conteúdo entre 0,89 e 0,91 e usabilidade média de 82,3 na escala SUS. Não avaliou desfecho clínico, e quem conduziu o estudo foi quem desenvolveu a ferramenta.
• Só duas bases. PubMed/MEDLINE e Semantic Scholar. Revisões Cochrane chegam indexadas pelo PubMed; Embase não é consultada.

Como usar os dois sem se enganar

1. Use o ChatGPT (ou qualquer assistente) para entender conceitos e para rascunhar a pergunta PICO.
2. Busque os artigos numa base, nunca de memória de IA. No SciCritic, o SELECIONE faz isso a partir da pergunta.
3. Avalie cada PDF com um instrumento, e exija a prova. No SciCritic, o CRITIQUE aplica o instrumento e cita o trecho.
4. Confira o trecho. Se o julgamento não bate com o que o artigo diz, a análise está errada, e você acabou de descobrir em trinta segundos.
5. Decida com o paciente. Nenhuma das duas ferramentas faz isso por você.

A regra que resume tudo: referência que não veio de uma base não existe até você abrir o artigo. Isso vale para o ChatGPT, para o SciCritic e para o colega que "leu num estudo".