Real-time zpracování dat z webu
Dobrej, vysvětlím vám můj problém. Potřeboval bych vědět jakým způsobem se dá v reálném čase číst informace (ty co jsou veřejně dostupné) z určitého/tých webů a zpracovávat je ať jsou přehlednější.
Dám příklad, není to sice přesně můj případ, ale je to dost podobné, takže by to mělo být stejný postup. Řekněme že máme 3 bazarové weby: aukro, bazos a sbazar a já bych chtěl ze všech číst všechny nabídky a zpracovat je tak aby mi to pak jen do řádku vypisovalo (v realném čase) jen ty nabídky které jsou podle mých kritérii: takže třeba všechny nabídky které mají v názvu např. grafická karta - a vypsalo mi to třeba název+cenu. Nepotřebuju návod jak to udělat, na to si budu muset přijít pak sám. Jen bych chtěl vědět co se k tomuto používá, abych pak vlastně vědět co hledám. Snad někdo pochopí co myslím. Děkuju za odpovědi.
Opravdu realtime to nebude, prostě se budeš muset v pravidelných intervalech dotazovat těch serverů. Ale nejspíš tě brzo zaříznou.
Si si istý že to chceš real-time? Ono totiž by si potreboval napr. websocket... s Ajax požiadavkami to nikdy nebude real-time... inak mi real-time u položiek z bazaru ani nedává logiku.
Aha tak to se omlouvám, myslel jsem jako třeba aby se to obnovilo co pár sekund nebo alespoň co minutu.
Tak to nie je real-time, v takom pripade len v setInterval voláš fetch s parametrami podľa filtrácie, a výsledný objekt vyparsuješ do DOMu. Nič zložité, len si treba zistiť parametre a prípadné hlavičky ktoré API požaduje.
Ta frekvence se mi zdá příliš vysoká, to by bylo (po minutě) 1440 požadavků za den.
To co hledáš se dá najít pod pojmem scrapování dat, data scraping. Řešit se to dá různě; s využitím externích služeb nebo si to naprogramovat po vlastní ose.
Ale není to tak jednoduchý.