Dažnai užduodami klausimai • Atsitiktinis

Koks yra robots.txt failas?

Failas robots.txt kontroliuoja paieškos sistemų prieigą prie svetainės, leidžiant arba ribojant turinio indeksavimą. Sužinok, kaip jį sukurti ir efektyviai sukonfigūruoti.

Peržiūros 1223Atnaujinta 1 anPaskelbta: 15/10/2018de Cătălin A.

Įvadas

Failas robots.txt yra paprastas teksto failas, kuris yra Robotų Išskyrimo Protokolo dalis (REP - Robots Exclusion Protocol). Jame pateikiamos instrukcijos paieškos sistemoms, kaip pasiekti ir indeksuoti svetainę. Norint, kad failas robots.txt turėtų poveikį, jis turi būti įdėtas į svetainės šakniniame aplanke (pavyzdžiui, https://domeniu.ro/robots.txt).

Robots.txt failo svarba

Failas robots.txt yra svarbus robotų sąveikos su svetaine valdymui. Yra daugybė robotų, kurie gali agresyviai indeksuoti svetainę, o tai gali paveikti jos našumą. Naudodamiesi šiuo failu, galite:

  • Kontroliuokite paieškos variklių prieigą prie svetainės turinio.
  • Leidžia indeksuoti tik norimiems robotams (pvz., Google, Bing).
  • Apriboti prieigą prie jautrių aplankų arba failų.

Naudojimo pavyzdžiai

1. Konkretus paieškos variklio blokavimas

Norint užblokuoti „Bing“ paieškos variklio (bingbot) prieigą, įrašykite šias eiles į robots.txt failą:


User-agent: bingbotNeleisti: /

Paaiškinimas:
User-agent: Nurodo paieškos variklį, kuriam taikomos nustatymo.
Disallow: Nustato svetainės sekcijas, kurioms robotas neturi prieigos. Simbolis / blokuoja prieigą prie visos svetainės.

2. Visių paieškos variklių blokavimas

Norint užkirsti kelią visiems paieškos varikliams pasiekti svetainę, naudokite:


User-agent: *Neleisti: /

Paaiškinimas: Simbolis * (wildcard) User-agent lauke taikomas visiems paieškos varikliams, o / blokuoja prieigą prie viso svetainės.

3. Prieigos apribojimas tik tam tikriems aplankams ar failams

Norint blokuoti prieigą prie aplanko ir konkretaus failo, sukonfigūruokite:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Paaiškinimas: Visi paieškos varikliai bus užblokuoti indeksuoti katalogą /blog/ ir failą newsletter.php.

Robots.txt failo sukūrimas

Norint sukurti robots.txt failą, galite naudoti internetinį generatorių, kuris padeda greitai ir be klaidų pritaikyti taisykles. Pavyzdžių generatorių internete galima rasti atlikus paiešką: Robots.txt generatorius.

Po trivertus sukūrę failą, įkelkite jį į svetainės šakniniu katalogu naudodami failų tvarkyklę arba FTP klientą.