|
АБРАКАДАБРА (Тоже самое но в читаемом виде)
"Ka4estvo poiska" - tak nazivaetsa otdel, kotoriy otve4aet za opredelenie reytinga rezul'tatov poiska Google. Smisl na6ey raboti prost i ponaten: ludi otpravlaut zaprosi v kompaniu Google po neskol'ku soten millionov raz v den', i za neskol'ko doley sekundi sistema Google doljna prinat' re6enie o tom, kakie iz milliardov stranic im pokazat', i v kakom poradke. V poslednee vrema mi takje delaem i drugie ve6i. Odnako ob etom 4ut' pozje.
Udivitel'no, no o reytinge rezul'tatov Google, kotorim pol'zuetsa tak mnogo ludey i nastol'ko 4asto, izvestno o4en' malo. Eto polnost'u na6a vina, i sdelano eto namerenno. Otkrovenno govora, mi ne mnogo rasskazivaem o tom, 4to mi delaem. Etomu est' dve pri4ini: konkurencia i zloupotreblenia. Pro konkurenciu vse ponatno. Ni odna kompania ne stanet delit'sa sekretnimi receptami so svoimi konkurentami.4to kasaetsa zloupotrebleniy: esli mi sdelaem na6i formuli opredelenia reytinga sli6kom dostupnimi, to uveli4im vozmojnost' mo6enni4estva s sistemoy. Obespe4enie bezopasnosti za s4et skritnosti, kone4no, ne samiy effektivniy sposob, no mi i ne polagaemsa isklu4itel'no na nego, odnako takim obrazom mi predotvra6aem bol'6oe koli4estvo naru6eniy.
Algoritmi opredelenia reytinga avlautsa odnim iz naibolee privlekatel'nix aktivov kompanii Google. Mi imi o4en' gordimsa i o4en' ix za6i6aem. Po nekotorim ocenkam, esli slojit' vse godi raboti programmistov i issledovateley, u6ed6ie na razrabotku etix algoritmov, to polu4itsa bolee 1000 let, i skorost' innovaciy s tex por ne snizilas'.
Tem ne menee polnaa sekretnost' ne avlaetsa idealom, i eta publikacia v bloge pozvolit nam otkrit' nemnogo bol'6e informacii, 4em mi delali ran'6e. Mi postaraemsa vipuskat' takie soob6enia periodi4eskimi, rasskazivaa o novovvedeniax, ob&asnaa su6estvuu6ie funkcii, delas' sovetami, novostami i vstupaa v dialog. Na4at' a xotel bi s ob6ey informacii o na6em otdele. V dal'ney6em mi planiruem novie blog-posti na etu temu.
A teper' pozvol'te mne predstavit'sa. Mena zovut Udi Manber. A avlaus' vice-prezidentom po injenernim razrabotkam v kompanii Google i vozglavlau otdel ka4estva poiska. A rabotau v kompanii Google bolee dvux let, a poiskovimi texnologiami zanimaus' po4ti 20 let.
Osnova otdela - eto kollektiv, kotoriy rabotaet nad opredeleniem osnovnix reytingov. Opredelenie reytinga - nelegkaa zada4a. Ona gorazdo slojnee, 4em mnogie mogut podumat'. Odna iz pri4in etogo sostoit v razli4iax azikov i otsutstvii pravil, kotorix sleduet priderjivat'sa pri sozdanii dokumentov. Standartov, opredelau6ix sposob izlojenia informacii, ne su6estvuet. Poetomu mi doljni "ponimat'" vse veb-stranici, kotorie mog sozdat' luboy 4elovek, po lubomu slu4au. Eto tol'ko polovina problemi. Nam takje nado ponat' vvodimie pol'zovatelami zaprosi, kotorie v srednem sostavlaut menee trex slov, i sopostavit' ix s tem, kak mi raspoznaem vse dokumenti. Ne govora uje o tom, 4to raznie ludi i6ut raznie ve6i. I vse eto nam nado sdelat' za neskol'ko millisekund.
Samaa izvestnaa 4ast' algoritma opredelenia reytinga - eto PageRank, algoritm, razrabotanniy Larri Peydjem i Sergeem Brinom, osnovatelami kompanii Google. PageRank ispol'zuetsa i sey4as, odnako teper' on avlaetsa 4ast'u gorazdo bolee slojnoy sistemi. V 4islo drugix elementov vxodat azikovie modeli (sposobnost' obrabativat' frazi, sinonimi, diakriti4eskie znaki, o6ibki pravopisania i tak dalee), modeli zaprosov (eto imeet otno6enie ne stol'ko k aziku, skol'ko k tomu, kak ego ispol'zuut ludi), vremennie modeli (na nekotorie zaprosi samie lu46ie otveti mojno nayti na stranice, sozdannoy vsego 30 minut nazad, a na nekotorie - na stranicax, kotorie viderjali ispitanie vremenem) i personalizirovannie modeli (potomu 4to vse ludi raznie).
Drugaa gruppa sotrudnikov v na6em otdele otve4aet za ocenku effektivnosti na6ey raboti. Eto delaetsa razli4nimi sposobami, odnako cel' vsegda odna: povi6enie udobstva raboti pol'zovateley. Eto ne glavnaa cel' - eto edinstvennaa zada4a. Kajduu minutu vipolnautsa avtomatizirovannie proverki effektivnosti (4tobi vse rabotalo kak nado), a takje periodi4eskaa ocenka ka4estva v celom, i, 4to samoe vajnoe, ocenka ulu46eniy algoritma. Kogda u injenera voznikaet novaa idea, i on razrabativaet noviy algoritm, mi ego t6atel'no proveraem. U nas est' gruppa po rabote so statistikoy, kotoraa rassmatrivaet vse dannie i opredelaet cennost' novoy idei. Kajduu nedelu proxodat vstre4i (inogda i dva raza v nedelu), na kotorix mi prorabativaem novie misli i odobraem novovvedenia. V 2007 godu mi vnedrili bolee 450 ulu46eniy, 4to v srednem sostavilo okolo 9 ulu46eniy v nedelu. Nekotorie iz nix prosti i o4evidni - naprimer, mi ispravili o6ibku pri obrabotke zaprosov, soderja6ix abbreviaturi na ivrite (v ivrite abbreviaturi obozna4autsa simvolom (") radom s posledney bukvoy, to est' abbreviatura IBM pi6etsa kak IB"M), a nekotorie bili o4en' slojnimi - naprimer, v anvare mi vnesli zna4itel'nie izmenenia v algoritm PageRank. Bol'6uu 4ast' vremeni mi iskali sposobi povi6enia relevantnosti, odnako mi takje rabotali nad proektami, imeu6imi edinstvennuu cel' - upro6enie algoritmov. 4em pro6e, tem lu46e.
V te4enie poslednix dvux let odnim iz osnovnix napravleniy na6ey deatel'nosti bil mejdunarodniy poisk. Eto zna4it, 4to mi rabotali so vsemi azikami, a ne tol'ko s samimi rasprostranennimi. Naprimer, v pro6lom godu mi vnesli zna4itel'nie ulu46enia v rabotu sistemi na azerbaydjanskom azike, na kotorom govorat primerno 8 millionov 4elovek. Za poslednie neskol'ko mesacev mi zapustili proverku pravopisania na estonskom, katalanskom, serbskom, serbo-xorvatskom, ukrainskom, bosniyskom, latviyskom, tagal'skom, slovenskom azikax i farsi. Mi organizovali vsemirnuu set', u4astniki kotoroy predostavlaut nam otzivi. Krome togo, u nas est' mnogo dobrovol'nix pomo6nikov vnutri kompanii Google, kotorie govorat na raznix azikax i pomogaut nam ulu46it' poisk.
Drugaa gruppa rabotaet nad razrabotkoy novix funkciy i novix pol'zovatel'skix interfeysov. Dla otli4noy ma6ini nujen xoro6iy dvigatel'. No odnogo ego nedostato4no. Ma6ina doljna bit' komfortabel'noy i legkoy v upravlenii. Pol'zovatel'skiy interfeys poiska Google dovol'no prostoy. Li6' nekotorie iz na6ix pol'zovateley 4itaut stranici spravki - oni mogut oboytis' bez nix (xota 4itat' ix legko i mi prodoljaem rabotat' nad ix ulu46eniem). Kogda mi dobavlaem novie funkcii, mi staraemsa sdelat' tak, 4tobi oni imeli intuitivno ponatniy sposob raboti i bili udobni v ispol'zovanii dla vsex ludey. Odno iz samix zametnix vvedennix nami izmeneniy - eto universal'niy poisk. Sredi drugix - Bloknot Google, pol'zovatel'skie sistemi poiska, i, kone4no, mnojestvo ulu46eniy stranici iGoogle. Gruppe po razrabotke pol'zovatel'skogo interfeysa pomogaut eksperti po uzabiliti, kotorie provodat oprosi pol'zovateley i ocenku novix funkciy. Oni pute6estvuut po vsemu miru. Inogda oni zaxodat v doma, 4tobi posmotret' na rabotu pol'zovateley v estestvennoy obstanovke. (Ne bespokoytes', oni ne pridut bez prigla6enia ili bez preduprejdenia!)
U nas est' gruppa, rabota kotoroy polnost'u posva6ena bor'be so spamom i drugimi tipami naru6eniy. Eta gruppa rabotaet nad mnojestvom problem: ot skritogo teksta do ne sootvetstvuu6ix tematike stranic, kotorie imeut nabori klu4evix slov, plus drugie sxemi, ispol'zuemie s cel'u polu4enia bolee visokogo reytinga na stranicax rezul'tatov poiska. Gruppa otme4aet novie tendencii spama i boretsa s nimi, obespe4ivaa mas6tabiruemost' predlagaemix re6eniy. Kak i vse drugie gruppi, ona rabotaet na mejdunarodnom urovne, oxvativaa raznie aziki i strani. Gruppa po bor'be s veb-spamom rabotaet v tesnom kontakte s komandoy Centra veb-masterov Google, 4tobi obmenivat'sa ideami s pol'zovatelami i uznavat' mnenie vladel'cev saytov.
V kompanii est' drugie otdeli, kotorie rabotaut nad samimi raznimi proektami. V celom organizacionnaa struktura dostato4no neformal'naa. Ludi perexodat iz odnoy gruppi v druguu, a a novie proekti na4inautsa postoanno.
Odin iz naibolee vajnix momentov, svazannix s poiskom, sostoit v tom, 4to ojidania pol'zovateley rastut o4en' bistro. Zaprosi zavtra6nego dna budet vipolnit' gorazdo slojnee, 4em segodna. To4no tak je, kak zakon Mura opredelaet udvoenie skorosti komp'uternogo ras4eta kajdie 18 mesacev, imeetsa i skritiy nepisanniy zakon, soglasno kotoromu samie slojnie zaprosi v te4enie korotkogo vremeni stanovatsa vdvoe slojnee. Eto nevozmojno virazit' to4nimi ciframi, no mi vse eto 4uvstvuem. Mi znaem, 4to ne mojem spokoyno po4ivat' na lavrax - nam nado uporno rabotat', 4tobi re6it' etu zada4u. Kak a govoril ranee, mi budem i v budu6em soob6at' vam ob obnovleniax v ka4estve poiska, poetomu sledite za novostami.
Avtor: Udi Manber, Vice-prezident po injenernim razrabotkam, otdel ka4estva poiska
http://habrahabr.ru/company/google/blog/45119/ |
