Robots.txt: como bloquear URLs com segurança no site

O robots.txt é um arquivo de texto que fica na raiz do seu domínio e aos rastreadores, os mecanismos que visitam páginas para indexá-las nos mecanismos de busca. Muita gente confunde bloqueio de rastreamento com bloqueio de indexação. São coisas diferentes, e essa distinção pode evitar erros Graves.

Se você quer impedir que uma página interna apareça no Google, entenda primeiro o que o robots.txt consegue fazer. O arquivo não cria uma barreira de segurança, não esconde conteúdo de pessoas e não remove páginas que já estão indexadas.

Neste guia, você vai aprender a criar um robots.txt, bloquear URLs, entender o comportamento de cada diretiva e combinar o arquivo com outras ferramentas para obter o resultado desejado.

Este conteúdo tem caráter informativo. Decisões técnicas devem ser tomadas com profissional especializado.

O que é robots.txt

O robots.txt é um arquivo de texto simples, geralmente criado em um arquivo chamado robots.txt, localizado na raiz principal do site. Quando um rastreador chega a uma página, ele pode procurar esse arquivo antes de continuar a navegação.

A localização precisa ser direta. Para um site como www.exemplo.com.br, o arquivo deve estar em https://www.exemplo.com.br/robots.txt. Se ele estiver dentro de uma pasta como /pasta/robots.txt, a maioria dos rastreadores não vai encontrá-lo.

O arquivo funciona como um conjunto de instruções. Cada regra tem um formato simples:

User-agent: *
Disallow: /pagina-secreta/

Nesse exemplo, todos os rastreadores são trabalhadores com a instrução de não o diretório /pagina-secreta/.

Na prática, o robots.txt controla três coisas principais:

• Quais áreas do site os rastreadores podem visitar
• Qual é o sitemap XML que deve ser usado para discovering
• Quais regras se aplicam a um agente específico

Ele não controla diretamente os resultados de busca, o tempo de carregamento da página, a posição no ranking nem a proteção contra ataques.

Bloquear URLs: o que o arquivo realmente faz

Quando você bloqueia uma URL no robots.txt, está dizendo ao buscador para não acessar aquela página durante o rastreamento normal. Essa diferença importa.

Se um buscador nunca consegue acessar a URL, ele não consegue ver o conteúdo dela, não consegue perceber o comando noindex dentro da página e não consegue descobrir links internos que apontem para ela.

Imagine uma página de thank you de checkout, uma área de login ou um arquivo de busca interna. Não existe necessidade de indexação dessas páginas. Você pode bloquear o acesso para economizar recursos de rastreamento e manter o foco do buscador nas páginas que realmente importam para o público.

Mas existe uma armadilha. Se você bloquear uma URL e ela já estiver indexada, ela pode continuar aparecendo nos resultados de busca. Isso acontece porque o buscador ainda conhece o endereço e pode exibir uma versão em cache ou apenas o título e a descrição Antigos.

Para resolver isso, você normalmente precisa de duas ações combinadas:

1. Permitir que o buscador acesse a página, adicionando a diretiva noindex no cabeçalho HTML ou por meio do cabeçalho HTTP X-Robots-Tag.
2. Enviar uma nova verificação no Search Console para que a mudança seja descoberta mais rapidamente.

O robots.txt, sozinho, não remove uma página dos resultados.

Bloqueio total e bloqueio parcial

Uma regra Disallow pode bloquear um caminho inteiro ou apenas parte dele. Veja alguns exemplos:

# Bloqueia todo o diretório de arquivos temporários

User-agent: *
Disallow: /tmp/

# Bloqueia apenas um arquivo específico

User-agent: *
Disallow: /download/catalogo.pdf

# Bloqueia URLs que começam com determinado texto

User-agent: *
Disallow: /pagina-em

A diretiva funciona por prefixo. Disallow: /pagina-em bloqueia /pagina-em, /pagina-empresa, /pagina-empresa/contato e outras URLs que começam exatamente com /pagina-em.

Para permitir todo o site, use:

User-agent: *
Disallow:

O campo Disallow vazio indica que não existe restrição específica para aquele agente.

Sintaxe básica do robots.txt

O arquivo utiliza diretivas como User-agent, Disallow, Allow e Sitemap. A ordem dos blocos importa. Cada grupo começa com um ou mais User-agent e reúne as regras que se aplicam a eles.

Um exemplo funcional:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /carrinho/
Disallow: /checkout/
Disallow: /*?session=

Sitemap: https://www.exemplo.com.br/sitemap.xml

Nesse caso, a maior parte do site está aberta, enquanto áreas administrativas, carrinho, checkout e URLs com parâmetros de sessão ficam bloqueadas.

A diretiva Allow é útil quando existe um caminho bloqueado que contém subpáginas importantes. O da maioria dos rastreadores é considerar a regra mais específica.

User-agent: *
Disallow: /privado/
Allow: /privado/pagina-publica.html

A página /privada/relatorio.html continuará bloqueada, mas /privado/pagina-publica.html será permitida.

Diretivas principais

Passo a passo para criar o arquivo

Criar um robots.txt não exige programação. Você pode usar um editor de texto, um plugin de WordPress ou o painel de hospedagem.

1. Defina os caminhos que precisam ser bloqueados

Antes de escrever, liste as áreas desnecessárias para indexação. Procure páginas administrativas, parâmetros de busca, resultados internos, arquivos de backup, filas, área de comentários com filtros e telas de login.

Não bloqueie recursos que precisam aparecer na busca. Imagens, vídeos, arquivos JavaScript e CSS bloqueados podem impedir o buscador de renderizar sua página.

2. Escolha a ferramenta de edição

No WordPress, plugins como WP Robots.txt ou Yoast SEO permitem criar e editar o arquivo pela interface. Se você usa outra solução, o painel da hospedagem também costuma oferecer um editor de arquivos.

A alternativa mais simples é criar um arquivo de texto, nomear como robots.txt e enviá-lo para a raiz do site por FTP ou gerenciador de arquivos.

3. Escreva as regras

Comece com uma estrutura simples e adicione exceções conforme a necessidade. Evite regras contraditórias ou blocos excessivos.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://www.exemplo.com.br/sitemap-index.xml

O Allow para admin-ajax.php merece atenção. Algumas funcionalidades do WordPress dependem dessa rota para funcionar. Bloqueá-la pode atrapalhar comentários, formulários e plugins que enviam dados por Ajax, que é um método de requisição web usado para falar com o servidor sem recarregar a página inteira.

4. Envie e valide

Envie o arquivo para a raiz do site. Depois, abra diretamente no navegador o endereço https://www.exemplo.com.br/robots.txt. O conteúdo deve aparecer como texto puro, sem página de erro.

Use o Testador de robots.txt do Google Search Console para conferir se o arquivo está legível e se as regras estão se aplicando como esperado.

5. Monitore os resultados

Depois de publicar, observe o relatório de páginas indexadas no Search Console. Também acompanhe os logs do servidor, caso sua hospedagem permita essa leitura.

O Googlebot costuma visitar o arquivo com frequência. Em sites com mudanças pequenas, ele pode passar por lá em alguns dias. Não espere efeito imediato.

Bloquear URLs no WordPress com SEO

Plugins de SEO acrescentam uma camada de controle ao WordPress. Eles podem gerar o arquivo automaticamente, criar regras para diretórios comuns e exibir avisos sobre conflitos.

Yoast SEO

O Yoast SEO possui uma aba chamada Ferramentas dentro do arquivo robots.txt. Ele gera um arquivo padrão que normalmente bloqueia diretórios do WordPress e apresenta campos para adicionar regras.

A vantagem é a simplicidade. A desvantagem aparece quando outro plugin também cria o arquivo. Nesse cenário, um sobrescreve o outro e você perde controle sobre o que está publicado.

WP Robots.txt

O plugin WP Robots.txt é mais direto. Ele edita o arquivo diretamente e permite o caminho do arquivo, comumente robots.txt na raiz.

Ele também oferece a opção de redirecionar o arquivo para outro local, mas essa função deve ser usada com cuidado. Se o redirecionamento falhar, o buscador perde as instruções.

Rank Math

O Rank Math inclui opções de robots.txt no painel de configurações do plugin. A interface segue uma lógica parecida com a do Yoast SEO, exibindo regras padrão e campos editáveis.

Antes de usar qualquer plugin

Verifique se já existe um robots.txt na raiz do site. Se um arquivo manual está presente e o plugin tenta gerar outro, o resultado fica inconsistente.

Escolha uma única fonte de controle:

• Arquivo manual na raiz
• Plugin responsável pelo arquivo
• Configuração do servidor

Depois, teste a URL diretamente e no Testador de robots.txt.

Bloquear URLs com meta tag noindex

A meta tag noindex é a ferramenta correta quando o objetivo é remover uma página dos resultados de busca. Ela vai dentro do cabeçalho <head> da página.

<meta name="robots" content="noindex, nofollow">

O noindex impede a indexação. O nofollow orienta o buscador a não seguir links presentes naquela página. Você pode usar apenas noindex se quiser manter o rastreamento dos links.

O Google também reconhece a diretiva noindex em cabeçalho HTTP:

X-Robots-Tag: noindex

Essa opção é útil quando você não consegue alterar o HTML, por exemplo, em imagens, PDFs ou páginas geradas dinamicamente.

Quando usar robots.txt e quando usar noindex

Perceba a diferença entre "quero esconder do buscador" e "quero bloquear o buscador&quot. Na primeira situação, o noindex é necessário. Na segunda, o robots.txt resolve, desde que você aceite que a página possa permanecer visível no índice se já estiver catalogada.

Cuidado com o arquivo robots.txt

Um erro no robots.txt pode comprometer a entire site. Se você bloquear a raiz com Disallow: /, o buscador não poderá visitar nenhuma página do domínio para(constantemente) pela regra principal.

Erros comuns incluem:

• Usar Disallow: / quando a intenção era bloquear apenas uma subpasta
• Confundir o caminho /admin com /administrador/
• Aplicar uma regra genérica que se sobrepõe a outra mais específica
• Bloquear arquivos de CSS, JavaScript e imagens necessários para renderização
• Esquecer de testar depois de uma migração de site
• Manter duas versões do arquivo, uma em plugin e outra no servidor

Bloqueio e segurança dos dados

O robots.txt é público. Qualquer pessoa pode acessá-lo e ver os caminhos bloqueados. Por isso, ele não deve ser usado para esconder informações confidenciais.

Se você precisa proteger relatórios, dados de clientes ou arquivos privados, use autenticação, senha no servidor, links temporários com validade curta ou uma área restrita no CMS. O robots.txt pode complementar a estratégia, mas não substitui esses recursos.

O efeito das regras sobre outros rastreadores

Os rastreadores nem sempre seguem o robots.txt da mesma forma. O Googlebot, Bingbot e outros agentes importantes costumam respeitar as instruções. Entretanto, ferramentas de auditoria, coletores de e-mail e alguns robôs maliciosos podem ignorar o arquivo.

Por isso, uma regra de bloqueio deve ser vista como uma orientação para buscadores conhecidos, não como uma proteção absoluta.

Métodos para bloquear URLs

Existem diferentes abordagens para impedir que determinadas páginas sejam rastreadas ou indexadas. Cada uma resolve um problema específico.

A combinação mais segura costuma reunir robots.txt para bloquear áreas que não precisam ser exploradas e noindex para Signaling de desindexação em páginas específicas.

Testar e verificar o resultado

A verificação é uma etapa que evita adivinhação. Existem várias formas de conferir o comportamento do arquivo.

Testador de robots.txt do Google

Acesse o Search Console e abra o Testador de robots.txt. Informe a URL do arquivo e escolha o agente que deseja simular. A ferramenta mostra o arquivo como está publicado, os erros de sintaxe e a regra aplicada a cada caminho.

Teste direto no navegador

A URL https://www.seusite.com.br/robots.txt deve retornar o conteúdo em texto. Se aparecer redirecionamento, página em branco ou erro 404, corrija antes de confiar nas regras.

Verificação no Search Console

A ferramenta Inspeção de URL mostra se a página está indexada, se foi rastreada e se encontrou regras de robots.txt. Essa leitura ajuda a entender o ponto atual do processo.

Testes com curl e logs

Ferramentas de linha de comando como curl mostram cabeçalhos e conteúdo. Nos logs do servidor, você pode filtrar acessos feitos por Googlebot, Bingbot e outros rastreadores para observar o comportamento.

curl -I https://www.exemplo.com.br/robots.txt

O comando curl -I mostra apenas os cabeçalhos da resposta, útil para confirmar o código HTTP e o redirecionamento.

Erros que comprometem o SEO do site

O arquivo robots.txt é pequeno, mas os erros de implementação são frequentes. Vejo três situações que aparecem muito em projetos reais.

Bloquear a página que deveria ser indexada

Uma loja pode bloquear /produtos/ por engano, thinking que páginas de categoria não devem aparecer. O resultado é a perda de descoberta e, eventualmente, a queda nas buscas de produtos.

Antes de aplicar regras, identifique quais URL possuem valor para o público e-work.

Usar robots.txt como ferramenta de desindexação

Esta confusão é a mais prejudicial. Se a página já está no índice e o arquivo impede o acesso, o buscador pode manter o endereço exibido por semanas ou meses. O resultado fica pior do que usar noindex corretamente.

Criar conflito entre plugins

Dois plugins que geram robots.txt produzem files com o mesmo endereço. O servidor entrega apenas uma versão. Você pode editar no painel de um plugin e ver mudanças que não aparecem, porque o outro está sobrescrevendo o arquivo.

Resolva removendo a responsabilidade duplicada e mantendo uma única fonte de verdade.

Atualizar o arquivo após mudanças no site

Uma migração de domínio, uma mudança de estrutura de URLs ou uma reorganização de categorias exige revisão do robots.txt. Caminhos antigos podem apontar para redirecionamentos que não funcionam ou para páginas que não deveriam existir.

Inclua essa verificação no checklist pós-migração.

Checklist antes de publicar

Antes de salvar o arquivo, confirme os pontos principais:

• O arquivo está na raiz do domínio e responde com código 200
• As regras foram testadas no Testador de robots.txt do Google
• Você não bloqueou CSS, JavaScript ou imagens usadas na renderização
• As páginas que precisam sair do índice têm noindex
• Não existe outro plugin gerando o mesmo arquivo
• O sitemap XML está informado e acessível
• Os caminhos bloqueados foram conferidos um por um
• As alterações estão registradas para acompanhamento posterior

Quando você termina essa lista, o arquivo deixa de ser uma formalidade e passa a fazer parte do controle técnico do site.

Perguntas Frequentes (FAQ)

1. O robots.txt bloqueia o acesso de pessoas ao site?

Não. Ele orienta determinados rastreadores, como o Googlebot, a não visitarem certas URLs. Visitantes comuns continuam accessing as páginas normalmente, salvo se a página exigir autenticação por outros meios. Por isso, nunca use o arquivo para proteger dados confidenciais.

2. Como faço para bloquear uma URL específica no robots.txt?

Adicione a diretiva Disallow seguida do caminho, sem barra no final quando quiser bloquear apenas um endereço exato. Para bloquear um diretório inteiro, use Disallow: /diretorio/. Depois, salve o arquivo na raiz do domínio e teste no Testador de robots.txt do Google Search Console.

3. Posso excluir uma página do Google usando robots.txt?

Não é a forma recomendada. O robots.txt impede o rastreamento, mas uma página já indexada pode continuar aparecendo com título e descrição antigos. Para desindexar, coloque noindex no código da página ou envie o cabeçalho X-Robots-Tag: noindex pelo servidor, permita o acesso ao robots.txt e solicite uma nova verificação no Search Console.

4. Quanto tempo leva para as mudanças no robots.txt surtirem efeito?

O prazo depende do comportamento do buscador. O Googlebot costuma revisitar o arquivo com regularidade, e mudanças podem ser percebidas em alguns dias. Se a URL foi bloqueada e precisa sumir do índice, a remoção pode levar semanas ou mais. Acompanhe o processo pela ferramenta Inspeção de URL do Search Console.

5. É permitido usar Disallow com o caminho completo, incluindo o domínio?

A forma mais simples e compatível é usar apenas o caminho, por exemplo Disallow: /privado/. O Google também aceita caminhos absolutos, como Disallow: https://exemplo.com.br/privado/, mas a versão relativa é mais fácil de manter. Evite misturar os dois estilos no mesmo arquivo.

6. O robots.txt substitui a tag noindex?

Não. As ferramentas têm funções diferentes. O robots.txt controla o que o buscador pode rastrear. A tag noindex comunica que uma página não deve entrar no índice. Na maioria dos casos, o melhor caminho é combinar as duas em situações diferentes.

7. O plugin de SEO precisa ficar instalado para o robots.txt funcionar?

Não. O arquivo funciona independentemente do plugin. Se você remove o plugin, o arquivo permanece no servidor até ser apagado ou substituído. O cuidado é saber qual ferramenta está gerenciando o conteúdo para evitar sobrescritas acidentais.

Conclusão

O robots.txt é uma ferramenta simples para controlar o rastreamento do site, mas o uso incorreto pode criar problemas sérios. A regra principal é clara: use o arquivo para orientar o que o buscador deve evitar e use noindex quando o objetivo é remover uma página dos resultados.

Comece com regras simples, teste no Search Console e acompanhe as mudanças. Bloquear caminhos por medo costuma gerar mais prejuízo do que benefício. Antes de salvar qualquer regra, pergunte se aquela URL realmente precisa desaparecer e se existe uma abordagem melhor.

Se você precisa de ajuda para colocar isso em prática, a Baita Site tem uma equipe especializada em sites, e-commerce, sistemas e inteligência artificial, com domínio total de WordPress. Fale com a gente e veja como podemos acelerar o seu projeto.

Referências consultadas

• Google Search Central: Introduction to robots.txt, documentação oficial sobre o arquivo robots.txt, diretivas e comportamentos do Googlebot.
• Google Search Central: Block URLs in robots.txt, guia oficial sobre como bloquear URLs e as limitações do método.
• Google Search Central: Remove a page from the Google index, orientações sobre noindex, cabeçalho X-Robots-Tag e verificação no Search Console.
• Yoast SEO: Robots.txt introduction, explicação técnica sobre o arquivo e sua relação com meta robots ecanonical.
• MDN Web Docs: Robots exclusion protocol, documentação técnica sobre o protocolo de exclusão de robôs.
• Search Engine Journal: Robots.txt guide, análise prática sobre uso, erros comuns e impacto em indexação.