Povolenie alebo blokovanie AI crawlerov: robots.txt a llms.txt
AI služby ako ChatGPT, Claude, Gemini a Perplexity sťahujú webové stránky: na trénovanie modelov, na odpovede vo vyhľadávaní alebo na zodpovedanie otázky používateľa. Pomocou súboru robots.txt určíte, ktoré z týchto robotov môžu navštevovať váš web. Okrem toho existuje návrh llms.txt. V tomto článku sa dozviete, aké roboty existujú, ako ich povoliť alebo zablokovať a čo llms.txt dokáže a čo nie. Ako príklad používame example.com.
1. Najdôležitejšie AI roboty
Väčšina AI spoločností používa samostatné názvy pre trénovanie, vyhľadávanie a sťahovanie na žiadosť používateľa. Môžete tak napríklad zablokovať trénovanie a pritom zostať vo výsledkoch vyhľadávania.
| Názov v robots.txt | Od | Účel |
|---|---|---|
GPTBot | OpenAI | Zhromažďovanie stránok, ktoré môžu byť použité na trénovanie modelov |
OAI-SearchBot | OpenAI | Vyhľadávacia funkcia ChatGPT. Ak tohto robota zablokujete, váš web sa nezobrazí vo výsledkoch vyhľadávania ChatGPT |
ChatGPT-User | OpenAI | Stiahnutie stránky na žiadosť používateľa. Podľa OpenAI sa tu robots.txt nemusí uplatňovať |
ClaudeBot | Anthropic | Zhromažďovanie stránok, ktoré môžu byť použité na trénovanie modelov |
Claude-SearchBot | Anthropic | Indexovanie stránok pre vyhľadávaciu funkciu Claude |
Claude-User | Anthropic | Stiahnutie stránky na žiadosť používateľa |
Google-Extended | Nejde o samostatného robota, ale o názov, ktorým určíte, či Google môže váš obsah používať na trénovanie modelov Gemini a na grounding. Podľa Google to nemá vplyv na vaše umiestnenie vo Vyhľadávaní Google | |
PerplexityBot | Perplexity | Zobrazovanie webov a odkazov na ne vo výsledkoch vyhľadávania Perplexity, nie na trénovanie |
Perplexity-User | Perplexity | Stiahnutie stránky na žiadosť používateľa. Podľa Perplexity tento robot robots.txt väčšinou ignoruje |
Zoznam sa pravidelne mení. Aktuálne názvy nájdete v dokumentácii OpenAI, Anthropic, Google a Perplexity.
2. Ukážkový robots.txt
Tento príklad blokuje trénovanie modelov, ale povoľuje vyhľadávacie roboty a bežné vyhľadávače:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot sa riadi iba skupinou so svojím vlastným názvom, inak skupinou
*. V príklade teda GPTBot nesmie nikam a pravidloDisallow: /winkelmand/sa naň nevzťahuje. - Ak chcete povoliť všetky AI roboty, nemusíte robiť nič: bez pravidiel je povolené všetko.
- Ak omylom zablokujete vyhľadávacieho robota, napríklad
OAI-SearchBot,Claude-SearchBotaleboPerplexityBot, váš web bude v týchto AI vyhľadávacích službách horšie nájditeľný. - Blokovanie platí iba do budúcnosti. Obsah, ktorý už bol stiahnutý, tým späť nezískate.
public_html vašej domény. Vytvoríte alebo upravíte ho cez Správcu súborov alebo FTP. WordPress si robots.txt vytvorí sám, kým tam žiadny súbor nie je, a AI Builder ho pri publikovaní umiestni automaticky. Viac o fungovaní robots.txt sa dočítate v článku Ako vylúčiť stránku z Google: robots.txt alebo noindex?.3. Čo je llms.txt?
llms.txt je návrh z roku 2024 na textový súbor na adrese https://example.com/llms.txt. Doň v Markdowne napíšete krátky popis svojho webu a odkazy na najdôležitejšie stránky, aby AI služba rýchlo videla, kde nájde správne informácie. Jednoduchý príklad:
# Pekáreň Príklad > Remeselná pekáreň v Žiline s chlebom, pečivom a tortami na objednávku. ## Dôležité stránky - [Sortiment](https://example.com/assortiment): chlieb, pečivo a torty - [Objednávky](https://example.com/bestellen): objednanie a vyzdvihnutie torty - [Kontakt](https://example.com/contact): adresa a otváracie hodiny
Dobré vedieť:
- llms.txt nie je oficiálny štandard, ale návrh. Neexistuje záruka, že AI služby budú súbor čítať. Google oznámil, že Vyhľadávanie Google ho nevyužíva.
- llms.txt nič neblokuje. Ak chcete roboty zablokovať, použite robots.txt.
- Súbor nevznikne sám: vytvoríte ho sami alebo ho necháte vytvoriť pluginom.
4. Vytvorenie llms.txt vo WordPresse
Známe SEO pluginy dokážu llms.txt vytvoriť a udržiavať za vás:
- Yoast SEO: prejdite do Yoast SEO, Nastavenia, Funkcie webu a pri AI funkciách zapnite llms.txt. Stránky môže vybrať Yoast, alebo ich môžete určiť sami.
- Rank Math: na Nástenke Rank Math zapnite modul LLMS Txt. Nastavenia potom nájdete v časti Všeobecné nastavenia.
Názvy ponúk sa líšia podľa verzie. Ak túto možnosť nevidíte, aktualizujte plugin. Súbor si potom zobrazíte na adrese https://vasadomena.sk/llms.txt.
Bez WordPressu si súbor vytvoríte sami: textový súbor llms.txt v priečinku public_html, rovnako ako robots.txt.
Podrobný návod so snímkami obrazovky: Sitemap a robots.txt vo WordPresse a na vlastnom webe a Sitemap a robots.txt v AI Builder v príručke Viditeľnosť online.
Chcete sa dozvedieť viac? Absolvujte bezplatný kurz Viditeľnosť online, lekcia 3.3 robots.txt: čo blokovať a čo nie.