Jak funguje vyhledavani

Boti prochazi internet, stranky, ktere se meni casto, prochazi casteji, stranky, ktere se nemeni pak mene casto. Stranky se zaindexuji a hledani pak probiha v tom indexu.

Tak bylo mi divný, aby to projelo celý internet za pár setin. I když je Google technologický gigant tak ty triliony GB dat za pár setin jsou šílené, v milionech hledání za sekundu.

Ono neprehladáva to všetko za sekundu... ono to prehľadáva postupne a 24/7,... navštívi to asi nejakých 10 tisíc webov za sekundu (pomocou swarmu botov), ale celý Internet (resp. všetky registrované domény) na ktorých je web, to trvá aj týždne kým to všetko zindexuje,... pri indexácii si poznačí stav webu do svojej databázy (vytvorí si akoby snapshot DOMu s nejakými metaúdajmi), a uloží si to, zároveň si pri tom poznačuje ako často sa web mení (keďže sa pravidelne vracia k už zaindexovaným webom, aby aktualizoval svoje snapshoty) a podľa toho aj vie ako často sa vracať. Reálne ale môže trvať aj týždne kým úplne nový web sa dostane do vyhľadávača viď: https://www.theleverageway.com/blog/how-long-does-it-take-google-to-index-a-new-site/ a ono keď ty niečo hľadáš cez Google, tak ti Google vo vyhladávaní ponúka výsledok na základne porovnávacieho algoritmu, ktorý sa snaží nájsť čo najpodobnejší web (snapshot) k fráze ktorý vyhľadávaš (teda ak hľadáš recept na bábovku, tak sa snaží nájsť web ktorý obsahuje slová bábovka, recept, a pod) okrem toho pri ponuke pozerá aj na mnoho iných faktorov ako aj to na ktorý odkaz z vyhladávania predošlí návštevníci klikli, smerovosť odkazov na iné weby či dokonca aj výkon webu (na čo je poslednou dobou od Google dosť nátlak a preto Google vytvoril aj tzv. Google Page Experience https://developers.google.com/search/docs/guides/page-experience
a tento proces neustále opakuje pre všetky weby s určitou frekvenciou pre každý web.

Keďže ale ty pri vyhladávaní vidíš výsledok na základe snapshotu čo má Google v databáze, je to v podstate v sekunde čo ti vráti výsledok, aj keď ten snapshot bol vytvorený až po pár minútach až dňoch či dokonca týždňoch (u nových webov je to výrazne pomalšie, u starých, častonaštevovaných a veľmi dynamických (často menia svoj obsah) to opakujú v krátkom intervale trebárs hodiny).

Odporúčam aj pozrieť: https://www.google.com/search/howsearchworks/crawling-indexing/