Indexovanie: čo sa do indexu dostane a čo nie

Modul 1: Ako fungujú vyhľadávače · Čas čítania: 11 minút

Cieľ lekcie: Po tejto lekcii dokážete pri stránke posúdiť, či sa môže dostať do indexu, a ak nie, ktorý zo štyroch "zámkov" ju zadržiava: stavový kód, robots.txt, noindex alebo canonical.

Kľúčové pojmy: indexovanie, technické požiadavky Google, noindex (meta robots a X-Robots-Tag), robots.txt nie je noindex, kanonikalizácia, duplicitný obsah, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", žiadna záruka

Čo sa deje pri indexovaní

Keď crawler stránku stiahne (lekcia 1.2), vyhľadávač ju začne čítať. Google analyzuje text, titulok, nadpisy, obrázky a videá a určí, v akom jazyku je stránka napísaná. Zisťuje tiež, či stránka nie je kópiou inej stránky a ktorá z týchto kópií je tá "skutočná". Až potom Google rozhodne, či sa stránka dostane do indexu.

Google k tomu hovorí dve veci, ktoré si treba dobre zapamätať:

• Zaradenie nie je zaručené. Aj keď vaša stránka spĺňa všetky požiadavky, Google sa môže rozhodnúť, že ju nezaradí.
• Je normálne, že nie je zaradené všetko. Google v pomocníkovi k prehľadu indexovania doslova píše, že nemáte očakávať, že bude indexovaná každá adresa vášho webu, a že to môže byť úplne v poriadku. Ide o vaše dôležité stránky.

Tri technické požiadavky

Google uvádza tri technické požiadavky, aby stránka mohla prísť do úvahy pre index:

1. Googlebot nie je blokovaný. Stránka je dostupná a robots.txt nezakazuje jej sťahovanie.
2. Stránka funguje. Server vráti stavový kód 200, nie chybu.
3. Stránka má indexovateľný obsah. Text v type súboru, ktorý Google dokáže prečítať, a žiadne porušenie pravidiel proti spamu.

V praxi k tomu pribudnú dve rozhodnutia vlastníka webu: noindex ("toto nezaraďte") a canonical, ktorý ukazuje na inú adresu ("nie túto, ale tamtú"). Spolu to dáva štyri zámky, ktorými musí stránka prejsť.

Zámok 1: stavový kód

Do indexu sa môže dostať len stránka so stavom 200. Kód 301 alebo 308 presmeruje vyhľadávač na novú adresu; posudzuje sa potom táto nová adresa. Kód 404 alebo 410 odstráni z indexu adresu, ktorá v ňom predtým bola.

Zradnou variantou je soft 404 z lekcie 1.2: stav 200, ale obsahom je chybové hlásenie alebo takmer prázdna stránka. Google to často rozpozná a takúto stránku nezaradí. Aj prázdna stránka kategórie v e-shope ("nenašli sa žiadne produkty") sa môže považovať za soft 404.

Zámok 2: robots.txt

Pomocou robots.txt zakazujete crawleru stránku stiahnuť. To je niečo iné ako zakázať jej zaradenie. Google je v tom jednoznačný: robots.txt nie je spôsob, ako stránku udržať mimo Google. Ak na blokovanú stránku odkazujú iné weby, adresa sa vo výsledkoch aj tak môže objaviť, len bez popisu. V Search Console sa to volá "Indexed, though blocked by robots.txt".

Robots.txt slúži na riadenie prehľadávania: napríklad aby crawler neprechádzal tisíce stránok s výsledkami vyhľadávania na vašom vlastnom webe. Podrobnejšie sa mu venuje lekcia 3.3.

Zámok 3: noindex

Ak naozaj chcete, aby sa stránka neobjavila vo výsledkoch vyhľadávania, použite noindex. Dá sa to urobiť dvoma spôsobmi s rovnakým účinkom:

<!-- v <head> stránky -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Druhý spôsob je HTTP hlavička, ktorú server posiela spolu so stránkou. Funguje aj pri súboroch, ktoré nie sú HTML, napríklad pri PDF. Hodnota none znamená to isté ako noindex, nofollow. Pri <meta name="googlebot" content="noindex"> platí pravidlo len pre Google; iné vyhľadávače môžu všeobecné pravidlo vykladať inak.

Teraz prichádza nástraha, ktorá sa vyskytuje veľmi často: noindex a blokovanie v robots.txt spolu nefungujú. Ak robots.txt stránku blokuje, Google ju nestiahne, a noindex teda nikdy neuvidí. Stránka sa potom cez odkazy z iných webov môže do indexu aj tak dostať. Ak chcete stránku z Google odstrániť: nechajte ju stiahnuť a nastavte na nej noindex.

Kde sa s noindex môžete stretnúť nechtiac?

• Vo WordPresse je v časti Nastavenia, Čítať začiarkavacie políčko "Odradiť vyhľadávače od indexovania tejto webovej stránky". To nastaví noindex na celý web. Počas tvorby webu praktické, katastrofálne, ak ho zabudnete vypnúť.
• V AI Builder môžete web alebo stránku nastaviť na "neindexovať"; do stránky sa potom vloží noindex, nofollow. Ani bezplatná demo stránka sa nikdy neindexuje.
• SEO plugin alebo téma s nesprávnym nastavením pre jednotlivé stránky alebo typy stránok.

Iné nástroje na tvorbu webov majú podobné prepínače, často s názvom ako "skryť pred vyhľadávačmi".

Zámok 4: canonical

Mnohé weby majú tú istú stránku pod viacerými adresami: s www aj bez neho, s http aj https, s parametrom na konci, napríklad ?utm_source=nieuwsbrief. Google z takých skupín vyberie jednu adresu ako kanonickú verziu a vo výsledkoch zobrazuje len ju. Ostatné sú duplikáty.

Pri výbere môžete Google pomôcť presmerovaním (silný signál) alebo odkazom canonical v stránke:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical je signál, nie príkaz: Google môže vybrať inú adresu. Ak váš canonical ukazuje na inú adresu, stránka sama hovorí: "nezaraďte mňa, ale tamtú". To je v poriadku, ak to sedí, a problém, ak ide o omyl, napríklad keď každá stránka ukazuje na domovskú stránku. Lekcia 3.5 sa tomu venuje podrobnejšie.

Duplicitný obsah na vašom vlastnom webe podľa Google nie je porušením pravidiel proti spamu a nevedie k manuálnemu zásahu. Je však neefektívny: crawlery sťahujú to isté viackrát a vy sami neurčujete, ktorá adresa sa zobrazí vo výsledkoch.

Hlásenia v Search Console

V prehľade Stránky (Pages) v Search Console (lekcia 2.4) vidíte pri každej neindexovanej stránke dôvod. Objavujú sa v ňom všetky štyri zámky:

Posledné dve nie sú technickou chybou. "Crawled - currently not indexed" sa vyskytuje často; Google uvádza, že to nie je vždy problém. Ak ide o dôležitú stránku, overte, či naozaj niečo prináša: jedinečná, užitočná stránka má väčšiu šancu ako tenká stránka, ktorá sa podobá na desať iných.

Zhrnutie

• Po prehľadaní vyhľadávač rozhoduje, či sa stránka dostane do indexu; nikdy to nie je zaručené a nie všetko tam musí byť.
• Štyri zámky: stav 200, žiadne blokovanie v robots.txt, žiadny noindex, canonical chýba alebo ukazuje na seba.
• robots.txt zakazuje stiahnutie, nie zaradenie. Na udržanie stránky mimo výsledkov použite noindex a takú stránku potom neblokujte v robots.txt.
• Canonical je silný signál, nie príkaz. Duplicitný obsah nie je spam, ale je neefektívny.
• "Crawled - currently not indexed" nie je technická chyba; pozrite sa na hodnotu stránky.

Kvíz

Úloha

Úloha A1.3: Môže sa táto stránka dostať do indexu? Zadajte adresu stránky (stránku vášho vlastného webu alebo stránku, ktorú zámerne skrývate, napríklad ďakovnú stránku). Potom zvoľte svoje očakávanie: "môže sa dostať do indexu" alebo "nemôže sa dostať do indexu", a ak zvolíte "nemôže", aj to, ktorý zámok ju zadržiava (stavový kód, robots.txt, noindex, canonical na inú adresu). Program prejde štyri zámky rovnako ako v tejto lekcii a svoj výsledok porovná s vaším.

Čítajte ďalej

• Google, Technické požiadavky Vyhľadávania Google: https://developers.google.com/search/docs/essentials/technical
• Google, Blokovanie indexovania pomocou noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Úvod do robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Zlúčenie duplicitných URL (kanonikalizácia): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Pomocník Google Search Console, Prehľad indexovania stránok: https://support.google.com/webmasters/answer/7440203