Hoe Robots te gebruiken. Tip om subdomeinen te blokkeren

Een website is een goede manier om uw kleine bedrijf te promoten en om uw producten en unieke kwalificaties onder de aandacht te brengen. Als u een grote website beheert, gebruikt u waarschijnlijk een paar subdomeinen en heeft elk subdomein een eigen map op uw webhost. Als u niet wilt dat crawlers van zoekmachines bepaalde subdomeinen parseren en indexeren, kunt u het robots.txt-bestand gebruiken om deze te blokkeren.

1.

Klik op de knop Start in de linkerbenedenhoek van uw scherm.

2.

Typ "Kladblok" in het vak Zoeken onderaan in het menu Start.

3.

Klik op "Kladblok" in het gedeelte Programma's bovenaan het Start-menu om Kladblok te starten. Een nieuw document wordt automatisch aangemaakt in Kladblok.

4.

Voeg deze twee regels in het Kladblok-document in om te voorkomen dat alle robots het subdomein parseren:

User-agent: * Disallow: /

5.

Druk op "Ctrl-S" om het venster "Opslaan als" te openen.

6.

Typ 'robots.txt' in het vak 'Bestandsnaam', selecteer een map waarin u het bestand wilt opslaan en klik op 'Opslaan' om het op te slaan.

7.

Upload het robots.txt-bestand dat u hebt opgeslagen naar de hoofdmap van elk domein dat u wilt beschermen tegen crawlers van zoekmachines. De hoofdmap is de map op het hoogste niveau.

Tip

• U kunt het bestand uploaden met behulp van FTP-clientsoftware of zelfs de webbestandsbeheerder van uw host.