Ako udržať stránku mimo Google: robots.txt alebo noindex?
Nechcete mať niektorú stránku v Google, napríklad ďakovnú stránku, testovaciu stránku alebo starú akciu? Mnohí si v takom prípade spomenú na súbor robots.txt. Súbor robots.txt však stránku z Google nevylúči. Na to slúži noindex. V tomto článku sa dozviete, aký je medzi nimi rozdiel, ako používať oboje a čo robiť so stránkou, ktorú ste odstránili. Ako príklad používame example.com.
Rozdiel v skratke
| robots.txt | noindex | |
|---|---|---|
| Čo hovorí | „Túto stránku nenačítavaj.“ | „Túto stránku nezaraďuj do výsledkov vyhľadávania.“ |
| Vylúči stránku z Google? | Nie. Ak na stránku odkazujú iní, jej adresa sa môže aj tak zobraziť, bez popisu. | Áno, hneď ako Google stránku znova navštívi. |
| Kde sa nachádza? | Jeden súbor na adrese https://example.com/robots.txt | Priamo v stránke alebo v hlavičke, ktorú server posiela spolu so stránkou |
| Na čo sa používa? | Na riadenie prehľadávania, napríklad na vynechanie stránok s výsledkami vyhľadávania na vašom webe | Na stránky, ktoré majú zostať dostupné, ale do Google nepatria |
Ani jedno z toho nie je zabezpečenie. Váš súbor robots.txt si môže prečítať ktokoľvek a stránka s noindex zostáva normálne dostupná. Ak niečo musí byť skutočne chránené, zabezpečte to heslom. Pozrite si článok Zabezpečenie priečinka heslom v DirectAdmin.
Používanie noindex
Do sekcie <head> stránky vložte tento riadok:
<meta name="robots" content="noindex">
Pri súboroch bez HTML, napríklad pri PDF, môže server poslať rovnaký pokyn ako hlavičku: X-Robots-Tag: noindex. Účinok je rovnaký.
Väčšinou to nemusíte písať sami:
- AI Builder: otvorte časť SEO, vyberte stránku a v časti Viac pre túto stránku vypnite prepínač Táto stránka je vyhľadateľná v Google. Stránka zostane dostupná, ale dostane noindex. Potom web znova zverejnite.
- WordPress: SEO plugin má pri každej stránke nastavenie, ktorým zabránite jej indexovaniu. Začiarkavacie políčko Odradiť vyhľadávače od indexovania tejto webovej stránky v časti Nastavenia, Čítanie platí pre celý web.
- Iné nástroje na tvorbu webu: hľadajte nastavenie typu „skryť pred vyhľadávačmi“.
Vytvorenie alebo úprava robots.txt
Na hostingovom balíku sa súbor robots.txt nachádza vo webovom priečinku vašej domény, v DirectAdmin je to priečinok public_html. Súbor vytvoríte alebo upravíte cez File Manager alebo FTP, pozrite si článok Otvorenie File Manager: priečinky vo vašom balíku. Príklad:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *platí pre všetky vyhľadávacie roboty.Disallow:s cestou zakazuje všetko, čo touto cestou začína.Disallow: /zakazuje celý web.- Ak vytvoríte aj skupinu
User-agent: Googlebot, Google sa bude riadiť len touto skupinou a skupinu*bude ignorovať. Zopakujte v nej preto všetky pravidlá, ktoré platia aj pre Google. - Neblokujte priečinky so štýlmi, skriptami ani obrázkami, ktoré vaša stránka potrebuje.
- Ak súbor robots.txt nemáte, nie je to problém: všetko je potom povolené. Ak adresa vráti chybu servera, Google dočasne prestane stránky načítavať.
WordPress si robots.txt vytvorí sám, kým vo webovom priečinku nie je žiadny súbor. AI Builder pri zverejnení sám vytvorí robots.txt s riadkom Sitemap:.
Podrobný návod so snímkami obrazovky: Sitemap a robots.txt v AI Builder a Sitemap a robots.txt vo WordPress a na vašom vlastnom webe v príručke Ako vás nájdu online.
Google si váš robots.txt zvyčajne uchováva až 24 hodín. V Search Console nájdete v časti Nastavenia správu o súbore robots.txt: uvidíte v nej, ktorú verziu Google naposledy načítal, s chybami a upozorneniami, a tlačidlo na jeho opätovné načítanie.
Odstránená stránka: 404 alebo 410, nie soft 404
Ak ste stránku odstránili, jej adresa by mala vracať stavový kód 404 (nenájdené) alebo 410 (odstránené). Pri ďalšej návšteve Google adresu odstráni z výsledkov vyhľadávania. Ak má stránka nástupcu, presmerujte starú adresu kódom 301 na túto novú stránku, pozrite si článok Site Redirection: presmerovanie domény alebo stránky.
Soft 404 je stránka, ktorá oznamuje, že neexistuje, alebo je takmer prázdna, no aj tak vracia kód 200 (nájdené). Google to často rozpozná a takúto stránku nezaradí. V Search Console to uvidíte ako dôvod Soft 404. Aj presmerovanie všetkých odstránených stránok na domovskú stránku sa môže považovať za soft 404. Stránka, ktorá skutočne neexistuje, by preto mala vracať skutočný kód 404 alebo 410.
Potrebujete stránku rýchlo odstrániť z výsledkov, napríklad preto, že na nej omylom boli osobné údaje? Použite nástroj Odstránenia v Search Console. Funguje dočasne, približne šesť mesiacov. Preto zároveň zabezpečte, aby stránka vracala 404 alebo 410, alebo aby mala heslo či noindex.
Ďalšie čítanie
- Google: Blokovanie indexovania pomocou noindex (anglicky)
- Google: Úvod do robots.txt (anglicky)
- Google: Správa o súbore robots.txt
- Blokovanie súborov cez .htaccess
Používate WordPress? V lekcii Vyhľadateľnosť: základy bezplatného kurzu WordPress sa dozviete viac o robots.txt a o políčku Odradiť vyhľadávače.
Chcete sa dozvedieť viac? Absolvujte bezplatný kurz Ako vás nájdu online, lekciu 3.3 robots.txt: čo blokovať a čo nie.