Ako udržať stránku mimo Googlu: robots.txt alebo noindex?
Nechcete mať niektorú stránku v Google, napríklad ďakovaciu stránku, testovaciu stránku alebo starú akciu? Vtedy mnohí ľudia myslia na súbor robots.txt. Ale robots.txt neudrží stránku mimo Google. Na to slúži noindex. V tomto článku si prečítate rozdiel, ako oba spôsoby používať a čo robiť so stránkou, ktorú ste odstránili. Ako príklad používame example.com.
Rozdiel v skratke
| robots.txt | noindex | |
|---|---|---|
| Čo to hovorí | „Nestahovať túto stránku.“ | „Nezaraďovať túto stránku do výsledkov vyhľadávania.“ |
| Udrží to stránku mimo Google? | Nie. Ak na stránku odkazujú iní, adresa sa aj tak môže zobraziť, bez popisu. | Áno, hneď ako Google stránku opäť navštívi. |
| Kde sa to nachádza? | Jeden súbor na https://example.com/robots.txt | V samotnej stránke, alebo ako hlavička, ktorú posiela server |
| Na čo sa to používa? | Na riadenie prehľadávania, napríklad preskočenie stránok s výsledkami vyhľadávania na vlastnej stránke | Pre stránky, ktoré majú zostať dostupné, ale nemajú byť v Google |
Ani jedno z toho nie je zabezpečenie. Váš súbor robots.txt si môže prečítať ktokoľvek a stránka s noindex zostáva jednoducho dostupná. Ak má byť niečo skutočne zabezpečené, umiestnite to za heslo. Pozrite si Zabezpečenie priečinka heslom v DirectAdmin.
Používanie noindex
Vložte tento riadok do <head> stránky:
<meta name="robots" content="noindex">
Pre súbory bez HTML, ako napríklad pdf, môže server poslať rovnakú inštrukciu ako hlavičku: X-Robots-Tag: noindex. Výsledok je rovnaký.
Väčšinou to nemusíte písať ručne:
- AI Bouwer: otvorte časť SEO, vyberte stránku a v časti Viac pre túto stránku vypnite prepínač Táto stránka vyhľadateľná v Google. Stránka zostane dostupná, ale dostane noindex. Potom znova publikujte.
- WordPress: SEO doplnok má pre každú stránku nastavenie, ktoré zabráni jej indexovaniu. Zaškrtávacie políčko Odrádzať vyhľadávače od indexovania tejto stránky v časti Nastavenia, Čítanie platí pre celú stránku.
- Iné nástroje na tvorbu webových stránok: hľadajte nastavenie ako „skryť pred vyhľadávačmi“.
Vytvorenie alebo úprava robots.txt
Na hostingovom balíku sa robots.txt nachádza vo webovom priečinku vašej domény, pri DirectAdmin v priečinku public_html. Súbor vytvoríte alebo upravíte cez Správu súborov alebo FTP, pozrite si Otvorenie Správy súborov: priečinky vo vašom balíku. Príklad:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *platí pre všetky vyhľadávacie roboty.Disallow:s cestou zakazuje všetko, čo začína touto cestou.Disallow: /zakazuje celú stránku.- Ak vytvoríte aj skupinu
User-agent: Googlebot, Google bude sledovať iba túto skupinu a skupinu*ignoruje. Zopakujte tam teda všetky pravidlá, ktoré platia aj pre Google. - Neblokujte priečinky so štýlmi, skriptami alebo obrázkami, ktoré stránka potrebuje.
- Chýbajúci robots.txt nie je problém: vtedy je povolené všetko. Ak adresa vráti chybu servera, Google dočasne prestane sťahovať.
WordPress si sám vytvorí robots.txt, pokiaľ sa vo webovom priečinku nenachádza žiadny súbor. AI Bouwer pri publikovaní sám vytvorí robots.txt s riadkom Sitemap:.
Google si zvyčajne ukladá váš robots.txt až 24 hodín. V Search Console nájdete v časti Nastavenia Prehľad robots.txt: ktorú verziu Google naposledy stiahol, s chybami a upozorneniami, a tlačidlo na opätovné stiahnutie.
Odstránená stránka: 404 alebo 410, nie soft 404
Ak ste stránku odstránili, adresa by mala vracať stavový kód 404 (nenájdené) alebo 410 (zmiznuté). Pri ďalšej návšteve potom Google adresu odstráni z výsledkov vyhľadávania. Ak má stránka nástupcu, presmerujte starú adresu pomocou 301 na novú stránku, pozrite si Site Omleiden: presmerovanie domény alebo stránky.
Soft 404 je stránka, ktorá hovorí, že neexistuje, alebo je takmer prázdna, ale napriek tomu vracia kód 200 (nájdené). Google to často rozpozná a takúto stránku nezaradí. V Search Console to uvidíte ako dôvod Soft 404. Aj presmerovanie všetkých odstránených stránok na vašu domovskú stránku môže byť považované za soft 404. Nechajte teda stránku, ktorá skutočne zanikla, vracať skutočný kód 404 alebo 410.
Potrebujete stránku rýchlo odstrániť z výsledkov, napríklad preto, že na nej boli omylom osobné údaje? Použite Odstránenia v Search Console. To funguje dočasne, približne šesť mesiacov. Zabezpečte preto aj to, aby stránka mala 404, 410, heslo alebo noindex.
Ďalšie čítanie
- Google: Blokovanie indexovania pomocou noindex (anglicky)
- Google: Úvod do robots.txt (anglicky)
- Google: Prehľad robots.txt
- Blokovanie súborov pomocou .htaccess
Používate WordPress? V lekcii Vyhľadateľnosť: základy bezplatného kurzu WordPress sa dozviete viac o robots.txt a zaškrtávacom políčku Odrádzať vyhľadávače.