AMSTAR 2: como saber se uma revisão sistemática merece confiança

Para que serve

AMSTAR é a sigla de A MeaSurement Tool to Assess systematic Reviews. A versão 2, publicada em 2017 no BMJ, avalia revisões sistemáticas de intervenções em saúde, incluindo as que combinam ensaios randomizados e estudos não randomizados. Ela responde a uma pergunta só: quanta confiança se pode ter nos resultados desta revisão?

Isso é diferente de perguntar se os estudos incluídos são bons (isso é o risco de viés deles, que a revisão deveria ter avaliado) e diferente de perguntar quanta certeza há no efeito (isso é o GRADE). A AMSTAR 2 olha para o processo da revisão: se ela foi planejada, buscou, selecionou, avaliou e sintetizou de um jeito que protege contra erro.

Os 16 itens

Cada item recebe "sim", "sim parcial" (quando cabe) ou "não". Sete deles são críticos: uma falha em qualquer um deles compromete a revisão inteira. Estão marcados abaixo.

Por que os sete críticos são críticos

• Protocolo prévio (2): sem ele, os autores podem ter ajustado a pergunta e os critérios depois de ver o que encontraram.
• Busca abrangente (4): uma revisão que buscou só no PubMed não é "sistemática" no sentido de ter reunido a evidência que existe.
• Lista de excluídos (7): sem ela, não dá para saber se estudos incômodos ficaram de fora.
• Risco de viés dos incluídos (9): sem avaliar, a revisão trata um ensaio ruim e um bom como iguais.
• Método de meta-análise (11): somar estudos que não deveriam ser somados produz um número preciso e errado.
• Interpretação à luz do viés (13): avaliar o risco de viés e depois ignorá-lo na conclusão é o defeito mais comum em revisões publicadas.
• Viés de publicação (15): sem investigar, a revisão herda o otimismo da literatura publicada.

O julgamento final: não some os pontos

A AMSTAR 2 não produz uma nota. Somar os "sim" apagaria a diferença entre falhar num item crítico e falhar num item comum. O julgamento global segue quatro níveis:

Na prática, revisões publicadas caem com frequência em "baixa" ou "criticamente baixa", sobretudo por falta de protocolo registrado (2) e de lista de excluídos (7). Isso não quer dizer que os estudos dentro delas sejam ruins; quer dizer que a revisão, como método de reuni-los, não protege o leitor. É comum a AMSTAR 2 rebaixar uma revisão que a pirâmide colocaria no topo.

Como aplicar em 10 minutos

1. Vá direto aos sete itens críticos. Procure o registro (PROSPERO ou similar), as bases e a estratégia de busca, a lista de excluídos (geralmente em material suplementar), a tabela de risco de viés, o método de meta-análise, a discussão e o funnel plot ou teste de viés de publicação.
2. Se dois críticos falharam, o julgamento já é "criticamente baixa"; não precisa continuar para classificar, mas vale continuar para entender.
3. Passe pelos outros nove.
4. Registre o julgamento e quais itens falharam. "Baixa por falta de protocolo" é uma informação; "baixa" sozinha não é.

O que a AMSTAR 2 não faz

• Não avalia revisões de escopo, narrativas nem revisões de estudos de diagnóstico ou prognóstico. Veja os tipos de revisão.
• Não diz se o efeito é grande, preciso ou aplicável ao seu paciente. Isso é o GRADE.
• Não substitui a leitura do resultado. Uma revisão de confiança alta pode concluir que a intervenção não funciona.

Como o SciCritic aplica a AMSTAR 2

Ao identificar uma revisão sistemática no PDF, o CRITIQUE percorre os 16 itens, marca cada um com o trecho do artigo que sustenta a resposta (o número do registro no PROSPERO, a lista de bases, a tabela de risco de viés), destaca os críticos e apresenta o julgamento nos quatro níveis da ferramenta. A nota de 0 a 10 que aparece junto é uma leitura adicional, decomposta por domínio para você ver de onde vem; o julgamento item a item fica visível ao lado dela.