Gerador de robots.txt

Crie um robots.txt com múltiplos blocos de user-agent, Allow/Disallow, Crawl-delay (opcional), Host e linhas de Sitemap. A pré-visualização é atualizada à medida que escreve.

Blocos de User-agent

Geral

URLs do Sitemap (um por linha) Host (opcional; usado por alguns rastreadores)

Observações: Host é respeitado por alguns rastreadores (ex.: Yandex). Crawl-delay não é usado pelo Google, mas pode ser por outros. Wildcards * e $ são amplamente suportados (não fazem parte do RFC base).

Pré-visualização (robots.txt)

Testador de URL

User-agent URL ou caminho

Lembrete: robots.txt é público e serve como orientação para rastreadores bem-comportados; não é um mecanismo de controlo de acesso.

Comentários (0)

Compartilhe sua opinião — por favor, seja educado e mantenha-se no tema.

Ainda não há comentários. Deixe um comentário e compartilhe sua opinião!

Faça login para comentar

E-mail

Senha

Esqueceu a sua senha? Criar conta

Asted Cloud