Zrychlení Freshbota

Všechny články, které Seznam.cz vyhodnotí jako zpravodajské by se nyní měly do indexu dostávat až o 30% rychleji.

Rychlost jsme zlepšili díky novému procesu stahování webových stránek, jehož nejdůležitější částí je nová komponenta Dolores. Novinky z internetu se tak dostanou dříve do hledání a k uživatelům.

V průběhu roku 2016 jsme přidávali počty zdrojů, kde Freshbot hledá nový obsah, a kvůli tomu původní způsob stahování přestával technologicky i výkonností vyhovovat. Proto jsme jej nahradili novou komponentou Dolores, jejíž název je akronymem z „Downloader Services“.

Po nasazení jsme změřili, že počet webových stránek, které Freshbot posílá k indexaci takřka okamžitě potom, co je objeví, se díky Dolores zvýšil na dvacetinásobek. Aktuálně Dolores stahuje v průměru tisícdokumentů za minutu.

V průběhu dne nastávají výkyvy v počtu nově vzniklých webových stránek, například noční publikace článků na zpravodajských serverech. Díky lepší stabilitě a propustnosti Dolores, a tím i celého Freshbota, tyto výkyvy už indexaci nově vzniklých webových stránek nezpomalují.

Zatím jsme na začátku toho, co od Dolores očekáváme.

Zdroj:

Štítky:

Napsat komentář