www.romver.ru / Полный список статей / Факторы поискового ранжирования сайтов

Kak bilo skazano v stat'e «Rossiyskie poiskovie sistemi kak plo6adki konkurentnoy bor'bi», bor'ba za pozicii saytov v vedu6ix poiskovix sistemax po popularnim tematikam zaprosov vedёtsa s tex por, kak poiskovie sistemi stali osnovnim isto4nikom posetiteley dla podavlau6ego bol'6instva internet-proektov. Pod deystviem etoy konkurencii sformirovalsa dostato4no ob&ёmniy v Zapadnoy Evrope i S6A, i krayne bistro rastu6iy rinok poiskovogo prodvijenia saytov v Rossii.

Tak kak je rabotaut optimizatori, i ot 4ego zavisat pozicii saytov v poiskovix vida4ax? Po kakim principam rabotaut poiskovie sistemi v celom, i kakie mexanizmi ranjirovania rezul'tatov poiska ispol'zuut? Dla otveta na eti voprosi neobxodimo uvidet' Internet glazami ix specialistov.

Na4nёm s togo, 4to ni odna poiskovaa sistema ne predostavlaet informacii o tom, kakim obrazom ona rabotaet. Metodologi4eskoe i programmnoe obespe4enie raboti poiskovix sistem avlautsa samoy vajnoy ix kommer4eskoy taynoy. Pri4in zdes', kak minimum, dve. Vo-pervix, konkurencia. Ute4ka podobnix dannix ot odnoy poiskovoy ma6ini k drugoy sposobna izmenit' balans sil na rinke, a ix rasprostranenie ponizit' stoimost' kompaniy vladel'cev. Vo-vtorix, bor'ba s manipulirovaniem rezul'tatami vida4i. To4nie svedenia ob algoritme ranjirovania mogut bit' ispol'zovani dla iskusstvennoy modifikacii saytov «pod nego» dla zanatia bolee visokix poiskovix poziciy, 4to zna4itel'no uxud6it relevantnost' vida4i. Poetomu osnovnim isto4nikom znaniy dla podavlau6ego bol'6instva specialistov po poiskovomu prodvijeniu avlautsa eksperiment i opit «kolleg po cexu».

Krome togo, poiskovie sistemi strematsa postoanno sover6enstvovat' mexanizmi svoey raboti, s cel'u ulu46enia ka4estva poiska, snijenia vozmojnosti iskusstvennogo vliania na poradok vida4i rezul'tatov, ras6irenia pere4na predostavlaemix uslug. Sover6enstvovanie algoritmov indeksacii i ranjirovania saytov privodit k bistromu ustarevaniu informacii ob etix processax. Takim obrazom, polu4aetsa, 4to i bez togo skudnaa, informacia, polu4aemaa optimizatorami, k tomu je stremitel'no ustarevaet, a govorit' ot stabil'nosti rezul'tatov ix rabot v perspektive, skajem, 7-8 mesacev, uje ne prixoditsa vovse. No ne vsё tak pe4al'no. Esli obratit'sa k istorii razvitia poiskovix texnologiy, v pervuu o4ered' nau4noy baze poiska po slabostrukturirovannim i nestrukturirovannim edinicam informacii, mojno videlit' rad ograni4eniy, v predelax kotorix vozmojni izmenenia. Takje, mojno sprognozirovat', 4ego sleduet ojidat' ot poiskovix ma6in v blijay6ie godi, a 4to na segodna6niy den' avlaetsa voprosami bolee dalёkoy perspektivi.

Itak, informacia o konkretnoy organizacii poiskovix sistem v bol'6ey 4asti zakrita. Odnako otkrita nau4naa baza, na kotoruu opirautsa ix razrabot4iki. Bolee togo, popitok skrivat' pere4en' ispol'zuemix nau4nix podxodov ne nabludaetsa, t.k. eto bilo bi, po men'6ey mere, naivnost'u: vibor na segodna6niy den' nevelik, po4ti vse oni v teorii bili predlojeni e6e do konca 70x godov pro6logo veka.

Privedёm opisannie, sostoav6iesa modeli poiska, kotorie mojno primenit' pri sozdanii poiskovoy sistemi:

• Prostey6ie modeli poiska: poisk na osnove meta-dannix, poisk na osnove klassifikatorov i model' «Dublinskogo adra». K prostey6im je mojno otnesti metodi signatur i suffiksnix derev'ev.

• Teoretiko-mnojestvennie modeli: bulevskaa, ras6irennaa bulevskaa, ne4ёtkix mnojestv.

• Algebrai4eskie: vektornaa, obob6ennaa vektornaa, latentno-semanti4eskaa, neyrosetevaa.

• Veroatnostnie.

Dopodlinno izvestno, 4to vedu6ie poiskovie sistemi ne berut za osnovu ni odnu iz prostey6ix modeley. V 4astnosti, sistemi ispol'zovav6ie metodi suffiksnix derev'ev (naprimer, amerikanskaa «OpenText») prekratili svoё su6estvovanie e6e v 1995m godu, ostal'nie metodi voob6e ne polu4il bol'6ogo rasprostranenia.

Teoretiko-mnojestvennie modeli, v pervuu o4ered' bulevskie ispol'zovalis' i ispol'zuutsa po sey den' v pervuu o4ered' dla sozdania malix poiskovix sistem (s ob&ёmom dokumentov is4islaemix ne bolee 4em sotnami tisa4 6tuk), takie metodi bistri v realizacii i neposredstvennom funkcionirovanii, prosti dla ponimania. No su6estvenniy nedostatok – nevozmojnost' ranjirovania dokumentov, soderja6ix vse slova zaprosa – ne pozvolaet ispol'zovat' ix dla postroenia krupnix poiskovix sistem dla bol'6ix ob&ёmov dannix, gde takix dokumentov dla otdel'nix zaprosov mogut vstretit'sa sotni i tisa4i.

Algebrai4eskie modeli vpervie bili predlojeni T. Djoysom i R.M. Nidxemom, oni osnovani na principe ocenki rasstoaniy mejdu vektorom slov zaprosa i vektorom slov dokumenta v prostranstve slov indeksa. T.e. blizost' zaprosa dokumentu ocenivaetsa po sootno6eniu 4astoti upominania slov zaprosa v rassmatrivaemom dokumente ( TF ), k 4astote upominania slov zaprosa vo vsex dokumentax indeksa ( IDF ). 4asto eto sootno6enie – TF / IDF – ispol'zuut kak sinonim vektornoy modeli.

Metodi latentno-semanti4eskogo (doslovno, skrito-smislovogo) analiza avlautsa razvitiem vektornix metodov. Razvitie osnovano na ponijenii razmernosti matrici associiruu6ey slova s dokumentami (imeu6ey kolossal'nie razmeri), gde elementom matrici avlaetsa 4astotnaa xarakteristika svazi slova s dokumentom za s4ёt eё singularnogo ( SVD ) razlojenia razmernosti 50-150 (vopros ob optimal'nom koli4estve avlaetsa otkritim po sey den'). Oni poka, takje, ne polu4ili 6irokogo rasprostranenia dla poiska, veroatnee vsego, pri4inoy tomu avlaetsa nizkoe ka4estvo opredelenia skritix smislov, osobenno dla azikov, bogatix slovami, imeu6imi razli4ni (neblizkie) zna4enia pri sovpadenii osnov, k koim otnositsa i russkiy azik. Po bol'6ey 4asti eti metodi ispol'zuutsa dla poiska tol'ko vo vspomogatel'nix celax: avtomati4eskaa klassifikacia, fil'tracia, avtomati4eskoe razdelenie kollekciy, ponijenie razmernosti drugix metodov.

Veroatnostnie metodi osnovani na tom, 4to dla kajdogo dokumenta rass4itivaetsa veroatnost' ego sootvetstvia zaprosu. Eta veroatnost' mojet rass4itivat'sa na osnove sravnenia s nekim etalonom relevantnosti, libo na osnove vi4islenia zna4eniy nekoy sovokupnosti parametrov. V lubom slu4ae, glubina prorabotki etix metodov poka ne dostigla togo urovna, na kotorom oni mogli bi bit' primeneni dla ob&ёmov dannix, podleja6ix indeksacii poiskovimi sistemami.

Bolee glubokiy obzor metodov realizacii poiska ne mi ostavim za ramkami dannoy stat'i, pere4islennoe vi6e prednazna4alos' li6' dla podkreplenia togo, 4to vedu6ie poiskovie sistemi, primenitel'no k Rossii imi avlautsa « Google », «Andeks», «Rambler», « AltaVista » i « MSN », osnovani na razli4nix realizacia vektornoy modeli poiska. 4to eto ozna4aet dla optimizatora? Eto pozvolaet utverjdat', 4to:

• Klu4evim faktorom ranjirovania dokumenta (otdel'noy internet-stranici ili dostupnogo fayla, formata, vxoda6ego v sostav dostupnix dla indeksacii konkretnoy poiskovoy sistemoy) v rezul'tatax poiska avlaetsa otno6enie koncentracii slov zaprosa v etom dokumente, k koncentracii slov zaprosa vo vsex dokumentax indeksa (otno6enie TF / IDF ).

• Poiskovie ma6ini v danniy moment ne imeut razvitix texnologiy temati4eskogo ranjirovania, avtomati4eskogo opredelenia smisla dokumentov.

• Blijay6im 6agom razvitia poiskovix sistem stanet imenno avtomatizacia opredelenia tematiki (tak nazivaemiy vertikal'niy poisk), dla umen'6enia razmerov vida4i po ob6im zaprosam. T.k. imenno zada4i avtomati4eskoy katalogizacii imeut naibol'6uu nau4nuu prorabotku. Pri etom klu4evim faktorom ranjirovania v predelax odnoy tematiki ostanetsa TF / IDF .

Eto osnova osnov, ot kotoroy i sleduet ottalkivat'sa v posleduu6em rassmotrenii voprosa. Dalee mi pokajem, 4to su6estvuet e6e mnojestvo faktorov, s bol'6ey ili men'6ey stepen'u obosnovannosti s4itau6ixsa u4itivaemimi pri ranjirovanii razli4nimi poiskovimi sistemami, i ix vlianie nemalovajno, no pervoo4erednim faktorom, ob6im dla vsex vedu6ix poiskovix sistem, avlaetsa koncentracia slov zaprosa v dokumente.

Teper' kosnёmsa faktorov, vlianie kotorix vozniklo v processe razvitia poiskovix sistem, pod deystviem stremlenia ulu46it' ka4estvo poiskovoy vida4i i stremlenia protivodeystvovat' iskusstvennomu manipulirovaniu rezul'tatami. Poiskovie sistemi strematsa ranjirovat' dokumenti maksimal'no to4no, s cel'u 4ego vvodat vsё novie i novie kriterii ranjirovania, rabotaut nad dostijeniem optimal'nosti ix vliania. Optimizatori, viavlaa eti kriterii, privodat sayti k maksimal'nomu ix udovletvoreniu (4to, za4astuu, ne ulu46aet potrebitel'skie xarakteristiki etix saytov), v rezul'tate 4ego liderami vida4i mogut okazivat'sa ne te, kto bol'6e sootvetstvuet, a te, kto bol'6e stremitsa. Poiskovie sistemi, v svou o4ered', vvodat fil'tri, viavlau6ie iskusstvennost' izmeneniy saytov, isklu4aa ix s vis6ix stupeney vida4i, vvoda novie kriterii ranjirovania. Krug zamknut. Eto sorevnovanie dlitsa neprerivno i nesёt v sebe, kak konstruktivnuu, tak i destruktivnuu sostavlau6uu. S odnoy storoni, s te4eniem vremeni uslovia optimal'nogo ranjirovania saytov i uslovia udobstva pol'zovateley sblijautsa, ka4estvo vida4i stanovitsa vi6e, potrebitel'skie xarakteristiki saytov, zanimau6ix visokie pozicii v ney, rastut. S drugoy storoni, v kratkosro4noy perspektive 4asto voznikaut «lazeyki» v algoritmax ranjirovania, pozvolau6ie nedobrosovestnim optimizatoram vivodit' sayti v men'6ey stepeni sootvetstvuu6ie tematike, neinformativnie, poroy prednazna4ennie isklu4itel'no dla reklami, na visokie pozicii v vida4ax po popularnim tematikam.

Tak kakie je faktori ranjirovania i kakie fil'tri ispol'zuutsa poiskovimi ma6inami segodna? Dla otveta na etot vopros ograni4imsa samimi ispol'zuemimi v Rossii poiskovimi sistemami: «Andeks» i « Google », s toy ogovorkoy, 4to imeu6iy visokuu popularnost' «Rambler» mojno isklu4it' iz etogo spiska vvidu anonsirovannogo im sogla6enia s « Google », poisk « Mail . ru » ispol'zuet vida4u sistemi «Andeks». Razdelim faktori ranjirovania na vnutrennie, xarakterizuu6ie sam sayt, i vne6nie, opredelaemie drugimi saytami ili deystviami pol'zovateley. Kajduu gruppu razdelim na dostovernie, vlianie kotorix mnogokratno podtverjdeno, predpolagaemie i nedostovernie, vlianie kotorix 4asto upominaetsa, no na praktike ne podtverjdeno.

* Sayt mojet bit' pessimizirovan za sozdanie nevidimix u4astkov teksta, soderja6ix klu4evie slova, dla iskusstvennogo zavi6enia ix koncentracii, odnako, tol'ko v slu4ae postuplenia jalobi na etot sayt, a ne avtomati4eski.

** Poiskovaa ma6ina obxodit Internet postepenno, poetomu redko mojet opredelit' fakti4eskuu datu publikacii materiala. Odnako, kosvenno, esli material 4asto zaimstvuetsa drugimi saytami, v ramkax setevoy etiki oni ustanavlivaut ssilku na stranicu-pervoisto4nik. V etom slu4ae, fakt avlenia pervoisto4nikom vliaet na pozicii, no ne pramo, a oposredovanno, za s4ёt uveli4enia 4isla vne6nix ssilok.

*** Segodna poiskovie sistemi imeut vse vozmojnosti dla vklu4enia etix faktorov, no ix vklu4enie otkroet vozmojnost' dla iskusstvennoy «nakrutki» pose6aemosti, s pomo6'u special'nogo programmnogo obespe4enia ili s privle4eniem ludey. Tem ne menee, po mere sover6enstvovania sredstv u4ёta pose6aemosti, on, nesomnenno, zarabotaet.

Tablica 1. – Vnutrennie i vne6nie faktori poiskovogo ranjirovania saytov.

Veroatno, v tablice privedeni ne vse rassmatrivaemie segodna faktori ranjirovania saytov. No klu4evie, po mneniu avtorov, ukazani polnost'u. Vajno obratit' vnimanie na koli4estvo faktorov ranjirovania, avlau6ixsa predpolagaemimi. Pri4ёm, faktori, vliau6ie segodna, mogut perestat' vliat' 4erez god, ne vliau6ie – na4at'. Bolee togo, budu4i prinatimi 4ast'u poiskovix sistem, oni mogut ne ispol'zovat'sa drugoy 4ast'u. I, 4to samoe vajnoe, kajdaa poiskovaa sistema sama dla seba re6aet, kakoy faktor, v kakoy stepeni vliaet na ranjirovanie. V 4astnosti, takoy bazoviy opredelau6iy faktor, kak koncentracia slov zaprosa, pri previ6enii opredelёnnogo procentnogo sootno6enia mojet vivesti sayt iz poiskovoy vida4i ili otbrosit' daleko vniz. Naprimer, v slu4ae, esli avtomatika poiskovoy sistemi so4tёt tekst neestestvennim (naprimer, na osnove Zakona Cipfa) ili prosto budet previ6en bar'er koncentracii. Razli4nie poiskovie sistemi mogut ustanavlivat' etot bar'er, isxoda iz sredney koncentracii klu4evix slov na relevantnix zaprosu saytax, iz ustanovlennix etalonov ili iz is4islennix polagaemix ekstremal'nimi veli4in. V rezul'tate 4ego dokument budet vosprinat, kak sozdanniy dla iskusstvennoy «nakrutki» relevantnosti, 4to opredelaut kak «poiskoviy SPAM».

Takim obrazom, mojno govorit' o visokoy stepeni neopredelёnnosti v voprosax poiskovoy optimizacii saytov. Mnogie faktori ranjirovania somnitel'ni, a to4niy sostav i stepen' ix vliania zavisit ot konkretnoy poiskovoy sistemi i tematiki zaprosa. Fakti4eski, raboti nad re6eniem zada4 poiskovoy optimizacii prodvijenia saytov vipolnautsa vo mnogom intuitivno, a rezul'tati etix rabot krayne slabo prognoziruemi. 4asto, dla togo, 4tobi nayti adekvatnuu metodiku prodvijenia konkretnogo sayta po konkretnoy semantike v konkretnoy poiskovoy sisteme uxodat mesaci, 4to privodit k neracional'nomu ispol'zovaniu sredstv, nanosit ubitki vladel'cam saytov i optimizatoram. Krome togo, v processe viavlenia optimal'noy strategii prodvijenia nad saytami proizvodatsa izmenenia, otricatel'no vliau6ie na ix potrebitel'skie xarakteristiki, povi6au6ie risk pessimizacii, pri etom, posle dostijenia uspexa prakti4eski nevozmojno viavit' te iz nix, kotorie sleduet otmenit'. Vse oni, sootvetstvenno, soxranautsa.

V zaklu4enii xo4etsa skazat', 4to, nesmotra na vse slojnosti, kolossal'niy spros na etot vid rabot prodoljaet tolkat' otrasl' vperёd. V blijay6ie pat'-sem' let ne sleduet jdat' radikal'nix izmeneniy v rabote poiskovix ma6in. Rost budet dostigat'sa za s4ёt avtomati4eskoy katalogizacii rezul'tatov poiska (vertikal'niy poisk), vklu4enia v pere4en' indeksiruemix formatov vsё novix tipov dannix: izobrajenia, video, audio (podrazumevaetsa raspoznavanie, a ne indeksacia meta-dannix); gorizontal'nogo ras6irenia spiskov servisov, predlagaemix poiskovimi sistemami. Eta stabil'nost' pozvolit issledovatelam dannoy oblasti uje v perspektive odnogo dvux let obespe4it' obosnovannuu, universal'nuu metodologi4eskuu bazu. A v perspektive dvux trёx let i programmnoe obespe4enie, sposobnoe ne tol'ko ocenit' deystvuu6ie pokazateli saytov, no predlojit' 4ёtkie re6enia zada4 prodvijenia, osnovannie neposredstvenno na analize povedenia otdel'no vzatoy poiskovoy sistemi primenitel'no k otdel'noy predmetnoy oblasti v danniy moment vremeni. Samim veroatnim re6eniem, po mneniu avtorov, stanut samoobu4aemie sistemi podderjki prinatia re6eniy, gotovie nezavisimo ot imeu6ixsa dannix o poiskovoy ma6ine, provesti analiz eё poiskovoy vida4i, viavit' osnovnie faktori ranjirovania, ocenit' stepen' ix vliania, sformirovat' i, pri neobxodimosti, ocenit' plan rabot po prodvijeniu s u4ёtom pokazateley saytov-konkurentov v zadannoy temati4eskoy oblasti, sprognozirovat' rezul'tati etix rabot.

Isto4niki

1. Il'a Segalovi4. «Kak rabotaut poiskovie sistemi».
2. 4ugreev Valeriy Leonidovi4. «Model' strukturnogo predstavlenia tekstovoy informacii i metod ee temati4eskogo analiza na osnove 4astotno-kontekstnoy klassifikacii». Dissertacia na soiskanie stepeni kandidata texni4eskix nauk. Sankt-Peterburgskiy gosudarstvenniy elektrotexni4eskiy universitet im. V.I. Ul'anova (Lenina) “LETI”. 2003 g .
3. Nekrest'anov Igor' Sergeevi4. «Tematiko-orientirovannie metodi poiska». Dissertacia na soiskanie stepeni kandidata texni4eskix nauk. Sankt-Peterburgskiy gosudarstvenniy universitet. 2000 g .
4. A6manov I.S. Ivanov A.A. « Optimizacia i prodvijenie saytov v poiskovix sistemax». Piter, Spb. 2008 g . 400 str. ISBN: 9785388000088
5. The Thesaurus Approach to Information Retrieval T. Joyce and R.M. Needham American Documentation, 1958
6. «Principi raboti poiskovoy ma6ini «Rambler». http://www.rambler.ru/doc/architecture.shtml
7. Razdel dla veb-materov kompanii « An deks». http :// webmaster . ya . ru
8. Uslovia predostavlenia uslug Google . http://www.google.ru/accounts/TOS
9. Licenzia na ispol'zovanie poiskovoy sistemi Andeks. http://rules.yandex.ru/termsofuse.xml

Karulin S. A.

vseyaseti.ru/archives/21