Non, un robot. txt n'est pas requis pour un site Web. Si un bot vient sur votre site Web et qu'il n'en a pas, il se contentera d'explorer votre site Web et d'indexer les pages comme il le ferait normalement. … Le fichier txt n'est nécessaire que si vous souhaitez avoir plus de contrôle sur ce qui est exploré.
Que se passe-t-il si vous n'avez pas de robots txt ?
robots. txt est complètement facultatif. Si vous en avez un, les crawlers conformes aux standards le respecteront, si vous n'en avez pas, tout ce qui n'est pas interdit dans les éléments HTML-META (Wikipedia) est crawlable. Le site sera indexé sans limitation.
Puis-je supprimer les robots txt ?
Vous devez supprimer les deux lignes de vos robots. fichier txt. Le fichier robots est situé dans le répertoire racine de votre dossier d'hébergement Web, il se trouve normalement dans /public_html/ et vous devriez pouvoir modifier ou supprimer ce fichier en utilisant: FTP en utilisant un client FTP tel que FileZilla ou WinSCP.
Le txt des robots est-il sûr ?
Les robots. txt file n'est pas en soi une menace pour la sécurité, et son utilisation correcte peut représenter une bonne pratique pour des raisons non liées à la sécurité. Vous ne devez pas supposer que tous les robots Web respecteront les instructions du fichier.
Pourquoi robots txt est-il mauvais ?
Il suffit d'ajouter une liste d'URL destinées à être privées pour un robots. txt est l'un des pires moyens d'essayer de garder les URL cachées et dans la plupart des cas, il en résulte exactement le contraire du résultat souhaité.
