Vérifieur de robots.txt

Vérifiez si un site Web a un fichier robots.txt et consultez sa carte du site et interdisez les règles.

Outils similaires

Vérifiez le code d'état retourné par un site Web pour une page manquante générée.

Vérifie si une page Web est définie comme noindex, ce qui l'empêche de apparaître dans les moteurs de recherche.

Obtenez toutes les en-têtes HTTP qu'un URL renvoie pour une demande de GET typique.

609

Vérifiez l'état du site.

7 597 369

Vérifiez les redirections 301 et 302 d'un objet spécifique URL. Il vérifiera jusqu'à 10 redirections.

1 306

Obtenez l'hôte Web d'un site donné.

1 258

Apportez et vérifiez chaque méta-tag sur n'importe quelle page Web.

1 167

Vérifiez si un site Web utilise le nouveau protocole HTTP/2 ou non.

1 141

Vérifiez si un site Web utilise l'algorithme de compression Brotli ou non.

1 088