Ako pripraviť web pre AI vyhľadávanie, aby vás nevynechal ChatGPT

Čím viac robotov web zablokuje, tým bezpečnejšie to pôsobí, no presný opak je pravda, a presne v tom spočíva otázka, ako pripraviť web pre AI vyhľadávanie. Väčšina firemných webov má v súbore robots.txt jediné pravidlo pre všetkých robotov, takzvané predvolené nastavenie hostingu alebo šablóny, a to isté pravidlo často zavrie dvere aj robotom, ktorí by mali web čítať. Keď sa dnes niekto pýta na dodávateľa cez ChatGPT alebo Perplexity namiesto Googlu, odpoveď stojí na tom, čo si tieto nástroje o firme stihli prečítať. Web, ktorý ich nepustí dnu, v odpovedi jednoducho nie je.

Čo si takéto weby zvyčajne pokazia samé

Prvá chyba je paušálny zákaz. Ak šablóna alebo bezpečnostný plugin zablokuje všetko okrem Googlebota a Bingbota, spolu s nimi zmizne aj GPTBot, PerplexityBot alebo ClaudeBot, a majiteľ webu sa o tom väčšinou dozvie až keď sa spýta, prečo ho asistent nikdy neodporučí.

Druhá chyba je chýbajúci súhrn. Jazykový model si pri odpovedi nestiahne celý web, prečíta pár stránok a poskladá z nich odpoveď. Bez jedného miesta s tvrdými faktami, kto ste, kde sídlite, čo ponúkate, si tie fakty musí domýšľať z útržkov, a domyslené fakty sa ľahko pomýlia.

Tretia chyba sú duplicitné popisy. Keď desiatky podstránok zdieľajú jeden opis z hlavnej šablóny, vyhľadávač aj AI nástroj dostanú rovnakú vetu pre úplne iný obsah, a nevedia, ktorá stránka je tá dôležitá.

Ako pripraviť web pre AI vyhľadávanie: čo zmenil prechod na WebCreator NG

Na adam.lukacka.com dnes robots.txt namiesto jedného bloku obsahuje 15 samostatných blokov, ktoré menovite púšťajú okrem Googlebota a Bingbota aj GPTBot a OAI-SearchBot od OpenAI, ChatGPT-User, ClaudeBot, anthropic-ai a Claude-Web od Anthropicu, PerplexityBot, Perplexity-User, Google-Extended, Applebot, Applebot-Extended aj CCBot, a zakazujú len administráciu a JSON API. Rovnako vzniká aj súbor llms.txt podľa štandardu llmstxt.org, cez 5 kilobajtov faktov a odkazov, ktoré sa poskladajú samy z obsahu, čo web už má v databáze.

Súbor sa nepísal ručne pri žiadnej aktualizácii. WebCreator NG má sitemap.xml, robots.txt, llms.txt aj štruktúrované dáta JSON-LD ako súčasť jadra, nie ako plugin, ktorý sa po každej aktualizácii systému rozbije. Majiteľ webu len vyplní meta polia pri stránke, prípadne nechá popis napísať AI tlačidlom v administrácii, a zvyšok poskladá systém sám. Kto zvažuje presun webu na WebCreator NG, kupuje presne toto: pripravenosť na AI vyhľadávanie a rýchlosť ako vlastnosť jadra, nie položku naviac, o ktorú sa potom musí starať ručne cez správu webu.

Výsledok v číslach

• Robots.txt má 15 samostatných blokov namiesto jedného spoločného pravidla pre všetky roboty.
• Llms.txt má cez 5 kilobajtov, jeden odsek s tvrdými faktami a šesť sekcií s odkazmi.
• Sitemapa nesie 116 adries, každá s vlastným titulkom aj popisom a so skutočným dátumom poslednej zmeny.
• Web melusovdvor.sk, postavený na tom istom jadre WebCreatora NG, má 100 bodov v PageSpeed vo všetkých štyroch kategóriách a prvé vykreslenie aj LCP na 0,4 sekundy.

Otázky, ktoré si položte pred zadaním webu

• Kto na našom webe rozhoduje, ktorých AI robotov robots.txt pustí a ktorých zablokuje?
• Existuje jedno miesto, kde si AI nástroj alebo novinár prečíta základné fakty o firme?
• Má každá podstránka vlastný meta titulok a popis, alebo zdieľajú jeden text zo šablóny?
• Vzniká pri nahratí obrázka aj menšia verzia pre mobil, alebo sa posiela ten istý súbor všade?
• Kto bude o rok upravovať zoznam povolených robotov, keď pribudnú ďalšie AI nástroje?

Nastavenie pre AI vyhľadávanie nie je jednorazová úprava jedného súboru, je to vlastnosť, ktorú buď má systém webu v jadre, alebo ju treba dohliadať ručne pri každej zmene. Prvý prístup sa nerozbije pri ďalšej aktualizácii, druhý áno.