Você já parou para pensar em como a pesquisa em SEO pode ser enganosa? Neste artigo, vamos explorar as armadilhas que muitos caem e como evitá-las.
A Miragem da Pesquisa em SEO: Como Evitar Armadilhas Pseudocientíficas
Sabe aquela sensação de ver água no deserto, mas quando você chega perto, é só uma miragem? Pois é, a pesquisa em SEO pode ser bem parecida. À primeira vista, parece ciência pura, soa superlegítima, e pode enganar até os profissionais mais experientes, fazendo-os acreditar que encontraram algo real.
Por Que Caímos Nessas Armadilhas?
Daniel Kahneman, um psicólogo famoso, disse uma vez que as pessoas preferem usar um mapa dos Pireneus perdidas nos Alpes do que não ter mapa nenhum. No mundo do SEO, a gente vai além: usamos o mapa dos Pireneus, chamamos de Alpes e ainda saímos por aí ensinando nossas “técnicas de navegação” com toda a confiança. O pior é que raramente questionamos quem nos apresenta esses mapas.
Como Albert Einstein já dizia: “A obediência cega à autoridade é o maior inimigo da verdade.” Chegou a hora de parar de correr atrás de miragens e começar a exigir mapas melhores. Este artigo vai te mostrar como a pesquisa não científica em SEO nos engana, por que continuamos caindo nessa e o que podemos fazer para mudar isso. Ah, e tem um bônus: vou compartilhar um prompt que criei para identificar rapidinho estudos pseudocientíficos em SEO, assim você evita decisões ruins e tempo perdido.
Os Problemas da Pesquisa Não Científica em SEO
Uma pesquisa de verdade deveria mapear o terreno, validando ou refutando suas técnicas. Ela deveria mostrar quais caminhos levam ao topo e quais terminam em quedas perigosas. Deveria indicar qual equipamento aguenta a pressão e onde estão os apoios firmes, em vez de rochas soltas que desmoronam quando você mais precisa. Pesquisas ruins sabotam tudo isso. Em vez de pisar em terreno sólido, você fica se equilibrando em uma base instável.
O Crescimento Natural do ChatGPT: Um Fator Ignorado
Pegue um exemplo comum: “Aumentamos o tráfego dos nossos clientes em X% no ChatGPT.” Esses estudos frequentemente ignoram um fator crucial: o crescimento natural do próprio ChatGPT. Entre setembro de 2024 e julho de 2025, o tráfego de chatgpt.com saltou de aproximadamente 3 bilhões para 5,5 bilhões de visitas — um aumento de 83%. Esse crescimento, por si só, já poderia explicar os números.
Mesmo assim, esses resultados são reembalados em manchetes sensacionalistas que inundam as redes sociais, impulsionadas por contas influentes com muitos seguidores. A maioria desses estudos falha no básico: falta replicabilidade e não podem ser generalizados. Ainda assim, são apresentados como o mapa definitivo para navegar na montanha nebulosa da IA que estamos escalando.
Exemplos de Pesquisas Duvidosas em SEO
Estudos de Sobreposição de AI Overview
Os estudos de sobreposição de AI Overview tentam explicar o quanto os rankings tradicionais de SEO influenciam a aparição dentro dos AI Overviews — muitas vezes considerados o novo pico na busca orgânica. Desde sua concepção original como Search Generative Experience (SGE), dezenas desses estudos de sobreposição surgiram. Eu li todos eles — para que você não precise — e montei meu próprio metaestudo não científico.
Meu Metaestudo: AI Overviews vs. Sobreposição de Busca
Voltei ao início de 2024, revisei todos os estudos que encontrei e os reduzi a 11 que atendiam a três critérios básicos:
- Comparação de URLs, não de domínios.
- Medir a sobreposição do Top 10 orgânico com as URLs dos AI Overviews.
- Baseado em todas as URLs no Top 10, não apenas uma.
O resultado final (ordenado por sobreposição em %):
- A sobreposição variou de 5% a 77%.
- Média: 45,84%.
- Mediana: 46,40%.
Essas enormes discrepâncias se devem a alguns fatores:
- Diferentes números de palavras-chave.
- Diferentes conjuntos de palavras-chave em geral.
- Diferentes períodos de tempo.
- Provavelmente diferentes tipos de palavras-chave.
Em resumo:
- A maioria dos estudos focou no mercado dos EUA.
- Apenas um forneceu um conjunto de dados para possível revisão por pares.
- Apenas dois incluíram mais de 100.000 palavras-chave.
- E nenhum explicou em detalhes como as palavras-chave foram escolhidas.
Existem apenas dois padrões notáveis entre os estudos:
- Com o tempo, a inclusão no Top 10 orgânico parece tornar mais provável a classificação nos AI Overviews. Em outras palavras, o Google agora parece depender mais dos resultados do Top 10 para o conteúdo do AI Overview do que nos primeiros dias.
- Classificar no Top 10 se correlaciona com uma maior probabilidade de também classificar em um AI Overview.
É isso. Mas mesmo assim, há várias razões pelas quais esses estudos são geralmente falhos:
- Nenhum dos estudos usa um conjunto de palavras-chave grande o suficiente: Os resultados não podem ser generalizados, como mapear uma face de penhasco e afirmar que se aplica a toda a cordilheira.
- A IA está sempre mudando – e sempre esteve: Os insights se tornam desatualizados rapidamente, como direções de GPS para uma estrada que não existe mais.
- Nem sempre está claro o que foi medido: Alguns relatórios são promovidos com material de marketing obscuro, e você não os entenderia sem o contexto adicional.
- Muito foco em médias – e médias são perigosas: Para um tipo de palavra-chave ou nicho, a sobreposição pode ser baixa. Para outros, pode ser alta. A média está no meio.
- Ignoram o “query fan-out” na análise: Esses estudos dão direções de onde ir – pena que estão dirigindo um carro enquanto estamos em um barco. Todos os principais chatbots de IA usam “query fan-out”, mas nenhum dos estudos levou isso em conta.
Isso não é novidade. O Google registrou uma patente para resumos de mecanismos generativos em março de 2023, afirmando que também usam documentos de resultados de pesquisa (SRDs) que são:
- Responsivos a consultas relacionadas.
- Responsivos a consultas recentes.
- Responsivos a consultas implícitas.
O Google pode não ter comercializado isso até maio de 2025, mas está à vista há mais de dois anos. A verdadeira sobreposição dos AI Overviews com a Pesquisa Google depende da sobreposição de todas as consultas usadas, incluindo consultas sintéticas. Se você não pode medir isso, pelo menos mencione como parte de suas limitações daqui para frente.
Outros Exemplos de Pesquisas Questionáveis em SEO
Aqui estão mais três exemplos de pesquisas recentes em SEO que considero questionáveis:
- Profound’s ‘The Surprising Gap Between ChatGPT and Google’: Comercializado como “uau, apenas 8-12% de sobreposição entre ChatGPT e os resultados do Top 10 da Pesquisa Google”, essa afirmação é baseada em apenas duas consultas repetidas algumas centenas de vezes. Duvido seriamente que o provedor de dados considerasse isso uma pesquisa de alta qualidade. No entanto, apesar de suas falhas, foi amplamente compartilhado por criadores.
- Estudo de pesquisadores alemães, ‘Is Google Getting Worse?’, e várias pesquisas sobre a mesma questão da Statista, The Verge e Wallethub: Eu cobri isso no meu artigo, “O Google está realmente piorando? (Na verdade, é complicado).” Em resumo, o estudo tem sido frequentemente citado incorretamente. As pesquisas se contradizem, muitas vezes usam enquadramento sugestivo e dependem do que as pessoas dizem, em vez do que realmente fazem.
- Adobe’s ‘How ChatGPT is changing the way we search’: Uma pesquisa com apenas 1.000 pessoas participantes, sendo 200 delas profissionais de marketing e proprietários de pequenas empresas — todos usando ChatGPT. No entanto, eles promovem a pesquisa, afirmando que “77% das pessoas nos EUA usam ChatGPT como um mecanismo de busca.”
Por Que Caímos Nessas Armadilhas?
Nem toda pesquisa em SEO é não científica pelas mesmas razões. Vejo quatro causas principais:
- Ignorância: É como a escuridão. À noite, é natural ter uma visão empobrecida. Significa “eu não sei melhor (ainda)”. Você está atualmente sem a capacidade e o conhecimento para conduzir pesquisa científica. É mais ou menos neutro.
- Estupidez: Isso é quando você é literalmente incapaz, portanto também neutro. Você simplesmente não consegue. Poucas pessoas são intelectualmente capazes de trabalhar em uma posição para conduzir pesquisa e depois falham em fazê-lo.
- Amathia (Estupidez Voluntária): Pior do que ambos é quando as luzes estão acesas e você ainda decide não ver. Então você não carece de conhecimento, mas o nega. Isso é descrito como “Amathia” em grego. Você poderia saber melhor, mas ativamente busca não saber. Embora todas as formas sejam perigosas, a Amathia é a mais perigosa. A Amathia resiste à correção, insiste que está certa e ativamente engana os outros.
- Vieses, Emoções, Agendas Ocultas e Incentivos: Você quer estar certo e não consegue ver claramente, ou tenta abertamente enganar os outros. Você não precisa mentir para não dizer a verdade. Você pode enganar a si mesmo tão bem quanto pode enganar os outros. A melhor maneira de convencer os outros de algo é se você realmente acredita nisso. Somos mestres na autoenganação. Poucos promovem produtos/serviços em que não acreditam. Você simplesmente não percebe os truques que um salário joga na sua percepção da realidade.
Por Que Caímos em Pesquisas Ruins em SEO
Temos a capacidade de abrir nossas mentes mais do que nunca. No entanto, decidimos nos encolher. Isso é incentivado em parte por smartphones e redes sociais, ambos induzidos por grandes empresas de tecnologia, que também são responsáveis pelo maior roubo da humanidade (você poderia chamar de Grand Theft AI ou GTAI).
Em uma entrevista de 2017, o presidente fundador do Facebook, Sean Parker, disse: “O processo de pensamento que levou à construção dessas aplicações, sendo o Facebook a primeira delas, … era tudo sobre: ‘Como consumimos o máximo possível do seu tempo e atenção consciente?’ E isso significa que precisamos te dar um pequeno ‘hit’ de dopamina de vez em quando. […] É um ciclo de feedback de validação social … exatamente o tipo de coisa que um hacker como eu criaria, porque você está explorando uma vulnerabilidade na psicologia humana.”
Eles não se importam com o tipo de engajamento que obtêm. Notícias falsas que polarizam? Ótimo, dê um impulso. A maioria das pessoas está presa nessa roda de hamster, sendo bombardeada com lixo o dia todo. A única peça que falta? Um intermediário que amplifica. Esses são criadores de conteúdo, editores, veículos de notícias, etc.
Agora temos um ciclo:
- Plataformas onde provedores de pesquisa publicam estudos questionáveis.
- Amplificadores buscando engajamento para ganho pessoal.
- Consumidores sobrecarregados por uma enxurrada de informações, todos inundados de dados.
Estamos presos em bolhas de eco das redes sociais. Queremos respostas simples e somos principalmente movidos por nossas emoções. E as redes sociais exploram tudo isso.
Como Resolver Tudo Isso
Como destacado ao longo do texto, temos três pontos que precisam de correção:
- Conduzir a pesquisa.
- Relatar a pesquisa.
- Consumir a pesquisa.
Conduzindo Pesquisas em SEO com Rigor Científico
O filósofo Karl Popper disse que o que os cientistas fazem é tentar provar que estavam errados no que fazem ou acreditam. A maioria de nós se move na direção oposta, tentando provar que estamos certos. Isso é um problema de mentalidade. A pesquisa é mais convincente quando você tenta provar que está errado. Pense em “steelmanning” (fortalecer o argumento do outro) em vez de “strawmanning” (distorcer o argumento do outro). Pergunte a si mesmo se o oposto do que você acredita também poderia ser verdade, e busque dados e argumentos. Às vezes, você também precisa aceitar o fato de que pode estar errado ou não ter uma resposta.
Algumas outras coisas que melhorariam a maioria das pesquisas em SEO:
- Revisão por pares: Forneça o conjunto de dados que você usou e deixe que outros verifiquem suas descobertas. Isso aumenta automaticamente a credibilidade do seu trabalho.
- Comportamento observável: Foque menos no que é dito e mais no que você pode ver. O que as pessoas dizem quase nunca é o que elas realmente sentem, acreditam ou fazem.
- Observação contínua: A qualidade da pesquisa e a sobreposição de IA vs. pesquisa estão em constante mudança, então também devem ser observadas e estudadas continuamente.
- Design de estudo sólido: Leia um bom livro sobre como fazer pesquisa científica (considere o clássico, “The Craft of Research”). Implemente aspectos como ter grupos de teste e controle, randomização, reconhecimento de limitações, etc.
Eu sei que podemos fazer melhor.
Relatando Pesquisas em SEO com Mais Precisão – e Notícias em Geral
Estudos controversos e questionáveis ganham força através da atenção e da falta de pensamento crítico. A responsabilidade não recai apenas sobre os “pesquisadores”, mas também sobre aqueles que amplificam seu trabalho.
O que pode ajudar a trazer mais equilíbrio à conversa?
- Evite o sensacionalismo: É provável que 80% das pessoas leiam apenas a manchete, então, embora ela precise ser atraente para o clique, deve evitar ser “click-baity”.
- Leia você mesmo: Não seja um papagaio do que outras pessoas dizem. Tenha muito cuidado com os resumos de IA. Lembre-se: resumos breves são mais propensos a incluir alucinações e a injeção de prompt pode manipular a saída.
- Verifique as fontes (primárias): Seja um chatbot de IA ou outra pessoa relatando algo, sempre verifique as fontes.
- Tenha uma postura crítica: Existe otimismo ingênuo e ceticismo informado. Sempre se pergunte: “Isso faz sentido?”
Valorize a verdade acima de ser o primeiro. Essa é a responsabilidade do jornalismo.
Evitando Cair em Pesquisas Ruins de SEO
Uma mente curiosa é sua melhor amiga. Sócrates costumava fazer muitas perguntas para expor lacunas no conhecimento das pessoas. Usando esse método, você pode descobrir se os pesquisadores têm evidências sólidas para suas afirmações ou se estão tirando conclusões que seus dados realmente não apoiam.
Aqui estão algumas perguntas que valem a pena fazer:
- Quem conduziu a pesquisa?
- Quem são as pessoas por trás dela?
- Qual é o objetivo delas?
- Existem conflitos de interesse?
- Que incentivos poderiam influenciar seu julgamento?
- Quão sólida é a metodologia do estudo?
- Qual período de tempo foi usado para o estudo?
- Eles tinham grupos de teste e controle e estavam observando ou pesquisando?
- Sob quais critérios a amostra foi selecionada?
- Os resultados são estatisticamente significativos?
- Quão generalizáveis e replicáveis são os resultados?
- Eles diferenciaram entre geolocalizações?
- Qual era o tamanho da amostra?
- Eles falam sobre replicabilidade e possíveis revisões por pares?
- De que forma eles falam sobre as limitações de sua pesquisa?
É improvável que você faça perguntas demais e acabe bebendo cicuta como Sócrates.
Seu Detector de “Besteira” em Pesquisas
Para te deixar com algo acionável, construí um prompt que você pode usar para avaliar pesquisas. Ele foi testado principalmente com GPT-4o para ser o mais acessível possível. Ele te ajuda a analisar as afirmações e evidências, o design e a metodologia da pesquisa, e os potenciais vieses. Ele também fornece um resumo com pontos fortes, fracos e alertas.
Uma análise como essa não substitui sua própria avaliação crítica. O que ela pode fazer, no entanto, é te dar uma indicação se o que você está lendo é inerentemente falho. Se os pesquisadores incluírem alguma forma de “prompt injection” que supostamente manipula uma avaliação, você pode obter uma avaliação errada. Dito isso, trabalhar com um prompt estruturado como este renderá resultados muito melhores do que “resuma este estudo brevemente”.
Quer Pesquisas de SEO Melhores e Mais Honestas? Olhe Para a Pessoa no Espelho
SEO não é determinístico — não é previsível com uma relação clara de causa e efeito. A maior parte do que fazemos em SEO é probabilística. Incerteza e aleatoriedade sempre desempenham um papel, embora muitas vezes não gostemos de admitir. Como resultado, a pesquisa em SEO não pode e não precisa atender aos padrões de outras disciplinas.
Mas a verdade incômoda é que a fome da nossa indústria por certeza criou um mercado para a falsa confiança. Construímos um ecossistema onde pesquisas suspeitas são recompensadas com cliques e autoridade, enquanto a honestidade rigorosa é ignorada, deixada sozinha no escuro.
A montanha que estamos escalando não está ficando menos nebulosa. Mas podemos escolher se seguimos mapas falsos ou construímos mapas melhores juntos. A ciência nem sempre é sobre ter todas as respostas — é sobre fazer perguntas melhores.
Gosto de dizer que mudar o comportamento e os padrões de outra pessoa leva tempo. Em contraste, você pode mudar os seus imediatamente. A mudança começa com a pessoa no espelho. Seja você quem conduz, relata ou consome pesquisas em SEO.