Jak roboty AI czytają HTML
Roboty AI cytują HTML, który pobierają. Jeśli odpowiedź powstaje w przeglądarce, jest spóźniona albo nieobecna w systemach, które najpewniej Państwa zacytują.
Pobranie to nie to samo co render
Pierwsza odpowiedź jest plikiem. Przeglądarka może potem pobrać skrypty i zbudować stronę, której serwer nigdy nie wysłał. Wyszukiwarki czasem robią ten drugi krok. Silniki odpowiedzi często zatrzymują się na pliku.
Proszę planować pod plik. Jeśli zdania w nim nie ma, proszę nie oczekiwać cytowania.
Co roboty zachowują
Zachowują te części, które HTML już nazywa.
- Tytuł, opis meta i link kanoniczny
- Nagłówki po kolei, akapity i listy
- Tabele z komórkami nagłówka, cytaty i podpisy figur
- Atrybuty href linków i tekst alt obrazów
- JSON-LD, gdy powtarza fakt, który strona również pokazuje
Czego roboty nie widzą
Nie widzą słów, których nie ma w tym pliku, i nie ufają słowom, które Państwo ukryli.
- Tekst wstawiony, gdy komponent przechodzi hydratację
- Nawigacja, która istnieje tylko jako obsługa onclick
- Fakty wewnątrz widżetu, który startuje zamknięty, jeśli zależy Państwu na najsurowszych parserach
- Tekst, który CSS usuwa przez display:none
Wzorzec, który można wdrożyć w tym tygodniu
Proszę umieścić odpowiedź w pierwszym akapicie pod nagłówkiem. Do kroków proszę użyć listy, a do porównania tabeli. Link niech ma href, którego kotwica nazywa cel. Potem proszę otworzyć źródło i wyszukać zdanie. Jeśli go nie ma, nie ma też cytowania.
Artykuł o semantycznym HTML opisuje kształt dokumentu. Optymalizacja pod silniki generatywne jest tą samą pracą wykonaną na witrynie klienta.
Pytania o roboty AI i HTML
Czy Googlebot uruchamia JavaScript?
Może, w późniejszej fali renderowania, która zużywa budżet crawlowania. Proszę traktować tę falę jako dodatek, nie jako miejsce, w którym żyje odpowiedź. Wiele robotów AI nigdy nie uruchamia pakietu.
Dla których robotów jest ten tekst?
Jest napisany dla robotów, które ekstrahują pobrany dokument. Planujemy pod Googlebot, Bingbot, PerplexityBot, ChatGPT-User i ClaudeBot.
Proszę o bezpłatny audyt ekstrakcji przez AI
Proszę wysłać publiczny URL. Osoba czyta HTML, który zwraca serwer, i odpisuje, co roboty AI mogą zacytować i czego nigdy nie widzą.