Úloha manuálnych hodnotení vo vyhľadávačoch

Tibor Peták, 28. Január 2009

Znovu sa na blogoch objavili teórie vychádzajúce z pomerne starého tajného googlovského dokumentu, o ktorom písal trebárs Aaron Wallv marci 2008. Dokument si môžete mylne vysvetliť ako priame posúvanie webov nahor a dole podľa hodnotení rater-ov. Pravdepodobne vám nijak nedokážem, že mám pravdu (nepracujem pre Google :)), ale posúďte sami, či môj názor nedáva viac logiky…

Manuálne hodnotenia majú za úlohu:

  1. Kvalitatívne ohodnotiť algoritmické vylepšenia.
  2. Nastaviť váhy jednotlivých faktorov vo vyhľadávaní.

A pravdepodobne nemajú za úlohu:

  1. Priamo posúvať hodnotené weby nahor či nadol vo výsledkoch hľadania.

Hodnotenie algoritmických vylepšení

Každý vyhľadávač potrebuje poriadne ohodnotiť svoj algoritmus. Asi si viete predstaviť, že rozhodnutie o zmene v algoritme neprebieha tak, že si tvorca pozrie pár náhodných hľadaní a ak sa mu zdá, že je to lepšie, zmena zostane. Určite aj na toto slúžia dáta od tých (vraj 10000) externých hodnotiacich.

Nastavovanie váh

Priznal to aj Yuhů zo Seznamu a priznal to aj Peter Norwig z Googlu. Váhy sa nastavujú tak, že sa vzorka kľúčových slov a webov vo výsledkoch nechá ohodnotiť (ľuďmi alebo/a strojmi) a optimalizačné algoritmy (pravdepodobne genetický alebo iné) sa potom na základe tejto vzorky snažia určiť váhy pre celý web. Dokonca Yuhů už dávnejšie prezradil, že výskyt kľúčového slova v doméne niekedy vychádzal pre Seznam záporne a že to manuálne prestavovali aspoň na tú nulu. Oboje, učenie algoritmov za pomoci strojov, či za pomoci ľudí má svoje pre a proti:

  • Učenie za pomoci počítačov – Výhodou je, že hodnotenie je pomerne rýchle a robustné, teda že hodnotených kľúčových slov a webov môže byť obrovské množstvo. Nevýhodou je, že učenie za pomoci strojov je náchylné na katastrofálne chyby.
  • Učenie za pomoci manuálnych hodnotení – Presný opak. Výhodou je presnosť a menšia pravdepodobnosť katastrofálnych scenárov. Na druhú stranu, množstvo meraných kľúčových slov je pravdepodobne nízke.

Kombináciou oboch sa dá dospieť k dobrým a stabilným výsledkom.

Priamy vplyv na výsledky asi nemajú

Dôsledok toho, čo som písal vyššie. Záber manuálnych testerov je tak malý, že si neviem predstaviť, že by to niečomu bolo dobré. Hlavne, aby sa na takéto hodnotenia mohli spoľahnúť aj na malom priestore (jedno kľúčové slovo a jeden web), museli by niekoľkí testeri ohodnotiť to isté kľúčové slovo a ten istý web. Čo by im zase pridávalo prácu na úkor dôležitejších funkcií uvedených vyššie.


Podobné články / mohlo by vás zaujať:

2 komentárov k “Úloha manuálnych hodnotení vo vyhľadávačoch”

1. Okuin píše:
Január 28th, 2009 at 7:52 pm

presne tak, suhlasim.. dava to asi najvacsi zmysel..

2. Ruziklan píše:
Január 28th, 2009 at 8:01 pm

Ulohu manualnych hodnoteni si viem celkom dobre predstavit v podobe podobnej, ako sme ju pouzili pre nastavenie vah faktorov v hodnoteni diskuterov na SME. Taky maly crowdsourcing (uzivatelia mohli napisat, ktori ini uzivatelia su podla nich + a -) dal vzorku hodnoteni od zivych uzivatelov a ta sa potom schroustala spolu s datami o mnohych uzivateloch zo stroja. A voila – v sucasnosti su celkom slusne odcleneni “od veci diskuteri” od tych, co su ok alebo dobri. Istota nie je, podaktorym kminom sa (pocitam, ze nevedome) dari DSEO (discussion scoring engine optimization) :-), ale vo vseobecnosti je to ok.

Súhlasíš - nesúhlasíš, reaguj!