recherche Créer un fichier robot.txt

[Pyro 12]

Bonjour à toute et à tous,

 

Dans ce tutoriel, je vais vous apprendre à faire un fichier robot.txt

 

Ressource prisent de 

 

-

Pour avoir accès à ce lien, merci de vous connecter.

 

-

Pour avoir accès à ce lien, merci de vous connecter.

 

-

Pour avoir accès à ce lien, merci de vous connecter.

_________________________________________________________________

 

Avant tout, c'est quoi un robot sur l'internet ?

 

Citation

Un bot informatique est un agent logiciel automatique ou semi-automatique qui interagit avec des serveurs informatiques. Un bot se connecte et interagit avec le serveur comme un programme client utilisé par un humain, d'où le terme « bot », qui est la contraction par aphérèse de « robot ».

 

Je vais prendre l'exemple du Googlebot

 

Citation

Les googlebots sont des robots d'indexation utilisés par le moteur de recherche Google afin de recenser et indexer les pages web.

La chaîne de caractères permettant de les identifier en tant que User-Agent est, selon la tâche qu'ils effectuent, l'une des trois suivantes :

 

1.  C'est quoi un fichier robot.txt ?

 

   

Citation

Le protocole d'exclusion des robots, plus connu sous le nom de robots.txt, est une convention visant à empêcher les robots d'exploration (web crawlers) d'accéder à tout ou une partie d'un site web.

 

2. Où le placer dans le ftp ?

 

   Tout simplement dans le fichier racine, et c'est obligatoire pour son fonctionnement.

 

3. Comment le configurer ?

 

Il faut créer un fichier robot.txt au fichier racine, puis voici des exemples d'action que vous pouvez effectuer:

 

   

- pour ne pas avoir de robot quelque soit les répertoires et les pages:

 

User-agent: *
Disallow: /

 

- pour ne pas avoir de robot dans des répertoires spécifiques:

 

User-agent: *
Disallow: /repertoire-a/
Disallow: /repertoire-b/

 

- pour ne pas avoir de robot dans des pages spécifiques:

 

User-agent: *
Disallow: /page-a.html
Disallow: /page-b.html

 

- pour ne pas avoir un robot en particulier:
 

User-agent: Googlebot Disallow: /repertoire-a/ 
User-agent: * Disallow:

 

- pour ne pas avoir de robot dans un répertoire ou un fichier commençant par une séquence de caractères:

 

User-agent: *
Disallow: /hello*

_____________________________________________________________________________________________________

 

Voilà, vous pouvez maintenant bloquer des robots venant sur votre site.

 

Pyro

[MatYou 864]

Merci pour le tutoriel

 

[Pyro 12]

Il y a 1 heure, Mastoke a dit :

Merci pour le tutoriel

 

Derien  

[ßRÂИÐØИ 47]

Ajoutez ce qu'est un robot pour ceux qui ne savent pas aurais permis de leur éviter de cherché sur google  
Merci de ton tuto pour ceux qui en auront besoin  

[Pyro 12]

à l’instant, ßRÂИÐØИ a dit :

Ajoutez ce qu'est un robot pour ceux qui ne savent pas aurais permis de leur éviter de cherché sur google  
Merci de ton tuto pour ceux qui en auront besoin  

Effectivement je vais ajouter la définition mais je pense que la plus part 

des personnes présentes sur inshare on un minimum de connaissance  

 

Merci de ton commentaire  

[Chesterfield 48]

Il y a 1 heure, Pyro a dit :

Effectivement je vais ajouter la définition mais je pense que la plus part 

des personnes présentes sur inshare on un minimum de connaissance  

 

Merci de ton commentaire  

Pour avoir accès à cette image, merci de vous connecter.

 

 

Merci pour le partage ! C'est plutôt utile  .

[Narzo 759]

    Salut Pyro ,
    Ton sujet a été déplacé pour une des deux raisons suivantes :

    - Ta demande a été résolue.

    - Ton sujet se trouvait dans la mauvaise catégorie.

        
      Ceci est un message automatique.

[Narzo 759]

    Salut Pyro ,
    Ton sujet a été déplacé pour une des deux raisons suivantes :

    - Ta demande a été résolue.

    - Ton sujet se trouvait dans la mauvaise catégorie.

        
      Ceci est un message automatique.