www.romver.ru / Полный список статей / наказанным Google’м

"Sna4ala dogovorimsa o terminologii",- tak lubil na4inat' razgovor moy dekan, prepodavatel' diskretnoy matematiki. Te vremena uj pozadi, no a s nim soglasen. Itak - o terminologii.
Luboy, daje samiy 4to ni na est' na4inau6iy "manimeyker" ponimaet, 4to zarabotat' na svoem sayte (bloge, forume, portale) on smojet tol'ko pri nali4ii na nem posetiteley, t.e. trafika. Privle4enie pol'zovateley poiskovix sistem Google, Andeks i im podobnix trebuet manipulaciy, blagodara kotorim sayt manimeykera okazivaetsa v Tope vida4i, t.e. rezul'tatov poiska.

Osnovnaa zada4a optimizatora – pravil'niy vibor klu4evix slov («keyvordov»).

PRAVIL'NIE keyvordi doljni bit' relevantni, otnositel'no visoko iskabel'ni i otnositel'no nizkokonkurentni.

Poisk relevantnix keyvordov - eto otdel'naa tema. Est' special'nie bazi dannix (ne besplatnie, razumeetsa), est' publi4no dostupnie servisi vrode freekeywords.wordtracker.com – publi4nost' podrazumevaet ograni4ennost' funkcionala, no ne vsegda i ne vezde. V ob6em, eto ne tema dannogo master-klassa, ob etom mojem pogovorit' v drugoy raz. A vot o proverke 4astoti zaprosov i koli4estva konkurentov – o tom, k 4emu a i vel razgovor, – 4itayte v sleduu6ey 4asti.

2. Procedura analiza zaprosov i neobxodimiy dla etogo nstrument

Est' celiy rad programmnix produktov, pozvolau6ix manimeykeru proverat' parametri keyvordov. Razumeetsa, oni toje bivaut platnie i besplatnie, vot ob odnom iz besplatnix skriptov, a imenno o nTrendsMaster, mi i pogovorim. On vsem xoro6 (podrobno o nem mojno po4itat' tut):

- pozvolaet polu4at' dannie po srednesuto4nomu koli4estvu zaprosov keyvorda v Google
- to je samoe po keyvordu, vzatomu v kavi4ki (kto ne znaet - poprobuyte poiskat' dlinnuu frazu i ee je v kavi4kax. Vi srazu uvidite, 4to vo vtorom variante budut bolee sootvetstvuu6ie va6emu poiskovomu zaprosu stranici, no ix budet srazu GORAZDO men'6e – tak kak poisk proizvodilsa po etomu keyvordu s ego «to4nim vxojdeniem», t.e. bez u4eta slovoform i t.p.)
- po oboim variantam (v kavi4kax i bez) pokazivaet koli4estvo konkurentov
- pozvolaet vivodit' rezul'tati pramo v brauzer ili v tabli4noy formi fayl CSV-formata, kotoriy potom legko otkrit' v MS Excel i porabotat' s dannimi
- mojet rabotat' prakti4eski na lubom xostere, no mojet rabotat' i na lokal'nom komp'utere, esli u vas ustanovlen Denwer

3. Neizbejniy etap – poavlenie kap4i

Razumeetsa, v bo4ke meda ne obo6los' bez lojki degta. Delo v tom, 4to pri bol'6om koli4estve proveraemix keyvordov dovol'no bistro nastupaet moment, kogda v rezul'tatax mi vidim splo6nie nuli ili o6ibki. Primerno 4erez 200-300 zaprosov.

Eto svazano s tem, 4to Google, polu4aa ot odnogo i togo je komp'utera desatki zaprosov v sekundu, identificiruet vas kak robota. A poskol'ku servis Google ne prednazna4en dla marsian ili robotov, on prekra6aet obslujivat' eti zaprosi. Na praktike eto vigladit tak, kak budto vas preduprejdaut o virusnoy opasnosti (sm. skrin6ot), no na samom dele eto obi4naa kap4a.

Takim obrazom, vi daete ponat', 4to, prejde vsego, VIDITE eto soob6enie, nu i 4to vi sposobni ponat', o 4em tam 6la re4'. To est', 4to vi ne robot
Dla programmnix produktov, kotorie sobiraut avtomati4eski te ili inie dannie s Google, eta stranica stanovitsa nepreodolimim prepatstviem (est' kone4no umel'ci, no dla bol'6instva eta situacia nerazre6ima). Eto i est' ban Google.

Primenitel'no k konkretnomu skriptu nTrendsMaster, rasklad takoy (u mena, vo vsakom slu4ae):
- zapuskaem skript i daem emu 100-200 slov - vse otrabativaet bez problem…
- zapuskaem ego e6e raz s takim je koli4estvom… i e6e… esli ne viderjivat' mejdu zapuskami pauzu xota bi v pol4asa, to bukval'no posle 3 zapuskov (to est' posle 400-600 proverennix slov) lezut o6ibki po proverke konkurentnix stranic ;-((

Posle togo kak a tut je probuu iskat' 4to-to v Googlevru4nuu, v moem brauzere poavlaetsa kap4a. Skript zapuskalsa s Denwer’a, poetomu kap4a govorit o tom, 4to adres moego komp'utera na vrema popal v ban. To est' v ru4nom rejime a mogu vvesti kod etoy kartinki i dal'6e kakoe-to vrema spokoyno pol'zovat'sa Google. No v te4enie e6e primerno 5-6 4asov eta samaa kap4a mojet randomno poavlat'sa pri lubix moix obra6eniax k Google (a mojet i ne poavlat'sa). V lubom slu4ae, v eto vrema ispol'zovat' skript s etogo je adresa ne polu4itsa, ibo on ni kartinku raspoznat', ni vbit' kod ne sumeet.

I 4to-to s etoy situaciey nado delat'. O tom, kakie a viju puti re6enia, 4itayte v sleduu6ey 4asti master-klassa.

4. Puti obxoda vremennogo bana Google – besplatnie i nedorogie

1. Uveli4enie pauz mejdu zaprosami k Google v skripte. No ne prosto uveli4enie pauz, a e6e i ix randomizacia. Posle analiza raboti neskol'kix desktopnix prilojeniy, zanimau6ixsa v tom 4isle i avtomati4eskimi zaprosami k Google (KRA PRO, IBP i drugie) mojno sdelat' vivod, 4to ix rabota ne vizivaet ban Google imenno poetomu. Esli prosto stavit' pauzu v 5 (7, 10, 15) sekund i vse pauzi delat' odinakovimi, Google vse ravno dovol'no bistro obnarujivaet rabotu avtomati4eskoy proverki i vidaet kap4u. Odnako oni delaut pereriv mejdu kajdim zaprosom ot 7 do 30 sekund v slu4aynom poradke vibiraa intervali - i eto pozvolaet im soxranat' rabotosposobnost'!

4em plox etot put'? Tem, 4to vrema na proverku skriptom stanovitsa sopostavimim so vremenem na proverku vru4nuu. No est' i plusi: manimeyker v eto vrema vse ravno ne zanimaetsa proverkoy, a delaet 4to-to drugoe, 4to emu nujno.

Polu4aetsa "dolgo, no bez teba", poetomu variant imeet pravo na su6estvovanie. K sojaleniu, inogda on vse-taki daet sboy. Vozmojno, potomu, 4to v testax a ispol'zoval funkciu curl dla polu4enia otvetov ot servera Google, a, mojet bit', nado bol'6e starat'sa imitirovat' real'nuu rabotu brauzera (est' i takie funkcii ili celie ix biblioteki vrode Snoopy, kotorie bolee-menee to4no pozvolaut emulirovat' brauzer). V ob6em, tut est' e6e nad 4em podumat'…

2. Ispol'zovanie API-klu4ey ot Google. Est' takie programmnie re6enia, kotorie poiskovaa sistema sama oficial'no predlagaet razrabot4ikam. Oni kak raz orientirovani na avtomati4eskuu rabotu, a ne na ru4nuu. Kazalos' bi, eto imenno to, 4to nam nado! No problema zdes' v tom, 4to Google oficial'no bol'6e ne podderjivaet SOAP API, a vsem rekomenduet perexodit' na AJAX API (ob&asnenie raznici etix podxodov ne vxodit v ramki etogo master-klassa). A zametil, 4to vida4a v etom slu4ae sil'no otli4aetsa ot rezul'tatov poiska v ru4nom rejime (v razi, a to i v desatki raz!!!).

Vot tut mojno videt', 4to eta problema povsemestna. Tak 4to noviy API ispol'zovat' v celax kakix-libo SEO-issledovaniy krayne ne rekomenduu. 4to kasaetsa starogo metoda, s ispol'zovaniem Google SOAP Search API, to tut vse xoro6o: rezul'tati rasxodatsa “v predelax razumnogo” (na raznix serverax Google oni takje rasxodatsa, tak 4to vse OK). NO! Google bol'6e ne vidaet pol'zovatelam eti samie "starie" API-6nie klu4i. A zna4it, peredelat' imeu6iysa skript, 4tobi on pri etom ostalsa besplatnim i publi4no-dostupnim, poprostu nevozmojno.

Kstati, manimeykeri dovol'no bistro ponali raznicu mejdu starimi i novimi klu4ami. I prevratili starie e6e v odin tovar ;-) Tak 4to sey4as "starie" API-klu4i na forums.digitalpoint.com prodautsa primerno po 25$ za 6tuku. S pomo6'u odnogo takogo klu4a mojno sdelat' tol'ko 1000 zaprosov v den' - takov ix oficial'niy limit. To est', vladea odnim klu4om i rabotau6im s nim skriptom, na proverku bazi iz 10000 keyvordov nujno potratit' 10 dney. Ili kupit' 10 klu4ey, no togda ov4inka videlki ne stoit. Besplatniy skript, kotoriy dla raboti trebuet dopolnitel'nix 250$ na sobstvennie klu4i - eto neser'ezno. Vpro4em, tem, u kogo est' zapasi starix klu4ey, imeet smisl obratit' vnimanie na takuu vozmojnost'. No eto nikak ne dla publi4nogo dostupa.

Voob6e k pokupke klu4ey a bi rekomendoval otnosit'sa krayne ostorojno. Potomu 4to odnovremenno s vami etot je samiy klu4 u togo je samogo prodavca mogli kupit' e6e para desatkov pokupateley. I togda etot klu4 stanovitsa voob6e bespoleznim. To est' pokupat' nado tol'ko u proverennix lic, kotorie mogut garantirovat' unikal'nost' prodaji.

3. So4etanie pervogo varianta s rabotoy 4erez proksi. Mojno sozdat' neskol'ko odnovremennix potokov (s raznix proksi, t.e. s raznix IP-adresov, budut prixodit' na Google poiskovie zaprosi).
Kajdiy iz potokov budet viderjivat' razumnie pauzi i togda skorost' raboti vsego skripta uveli4itsa proporcional'no koli4estvu zadeystvovannix potokov. Zdes' slojnost' zaklu4aetsa v poiske RABOTAU6IX i pri etom deystvitel'no ANONIMNIX proksi, kotorie bi to4no ne svetili nastoa6iy adres komp'utera pered Google.
Sredi desatkov, soten, a to i tisa4 besplatno dostupnix spiskov proksi v internete posle proverki ostautsa rabo4imi doli procenta. Vot, naprimer, pri posledney proverke special'noy programmoy "proksi-4ekerom" bolee 2000 proksi — rabotalo tol'ko okolo sotni, a anonimnimi bilo 6tuk 20. Eto zna4it, 4to skript nado e6e oborudovat' i takoy sostavlau6ey, kak polu4enie spiskov proksi-serverov s ob6edostupnix resursov i ix regularnuu proverku na rabotosposobnost'.
A eto uje otdel'niy monstr polu4aetsa. A takie rabotau6ie sistemi znau, daje ispol'zuu odin platniy skript, no vot integrirovat' ego v etot skript napramuu ne udastsa — tol'ko 4erez import-eksport.

Vpro4em, eta problema re6aetsa, no opat' je, o massovosti ispol'zovania v etom slu4ae mojno zabit'. K 4emu a eto vse? K tomu, 4to sdelat' skript "dla seba" vpolne real'no. Tol'ko nujen svoy sobstvenniy proksi-4eker ili kuplennie proksi. I to i drugoe stoit deneg.

4. Variant "dla man'akov". Priobretaetsa 5-6 xostingov s rabotau6imi otkritimi soedineniami dla PHP-skriptov (ne kajdiy xosting eto pozvolaet, t.e. sami skripti na PHP sey4as povsemestno dostupni, a vot 4tobi etim skriptam bila otkrita "doroga" na ustanovku soedineniy s vne6nimi serverami, eto daleko ne u vsex). No nayti takix provayderov vpolne real'no. Zatem pi6etsa skript, kotoriy zadanie, skajem, iz 1000 keyvordov razbivaet na 5 porciy po 200 slov i raskidivaet na 5 xostingov, gde oni spokoyno v obi4nom rejime bez vsakix peredelok proverautsa. Ved' po 200 slov obi4no vse rabotaet i bez osobix pauz. A potom eti raznesennie po seti skripti rezul'tati vozvra6aut obratno v "central'niy" skript, kotoriy i vidaet ob&edinennuu kartinku.

Eto kak bi i proksi, i ne proksi odnovremenno ;-) No cena 5 xostingov - sami ponimaete… pri4em ejemesa4no… Pro6e kupit' proksi-4eker i s Denwer’a vse zapuskat'…

5. Ispol'zovanie dannix ot Wordtracker ili drugogo podobnogo servisa. U nix obi4no koli4estvo kompetitorov dovol'no blizki k dannim Google po S6A. Takje oni vidaut i koli4estvo poiskov po keyvordam, no eti dannie sobirautsa i vis4itivautsa dovol'no xitrim obrazom, kotoriy, k tomu je, voob6e ne svazan s dannimi ot Google, tak 4to eti svedenia ot nix nam ne interesni. Dannie o koli4estve poiskov po keyvordam nam dast obsujdaemiy skript nTrendsMaster. To est' prosto berem ot takogo platnogo servisa dannie o kompetitorax, fil'truem ix po svoim trebovaniam (otbrasivaem sli6kom uj visokokonkurentnie), a to, 4to ostalos', otdaem na6emu skriptu na proverku, pri etom v nem viklu4aem proverku kompetitorov i ne boimsa bana Google. No, opat' je, finansovaa storona voprosa ostaetsa.

Na etom besplatnie (ili blizkie k besplatnim) varianti zakon4ilis'. Teper' ostalis' "platnie" i "dorogie", pri4em eto dve raznix kategorii, no ob etom v sleduu6em razdele master-klassa.

5. Puti obxoda vremennogo bana Google – varianti podoroje

Sna4ala o dorogix - eto pokupka gotovix, sobrannix za vas, dannix o keyvordax. Mne izvestni prodavci takix baz dannix ob&emom po 40, 60 i 180 millionov keyvordov.
Stra6no predstavit'! I stoit eto toje ne malo. Vpro4em, tem, kto eti bazi pokupaet, oni, vidimo, deystvitel'no nujni. Pri sootvetstvuu6em poxode oni doljni seba mnogokratno okupat'. No u nas re4' idet o na4inau6ix manimeykerax. Vot vi, k primeru, znaete, kak okupit' bazu stoimost'u v 400$ za sleduu6iy mesac? K tomu je, eti dannie imeut opredelenniy srok jizni. Ix mogli sobrat' god nazad, togda k nine6nemu polojeniu ve6ey eti dannie mogut imet' ves'ma oposredovannoe otno6enie.

4to je kasaetsa platnix, no ne takix dorogix variantov, to v xode diskussii po povodu etogo materiala na bloge ProfitHunter'a virisovalis' sleduu6ie vozmojnosti:

1. Akkaunt na Wordtracker'e stoit deneg (27$ v mesac pri pokupke godovogo abonementa), no raz uj mi zanimaemsa takim delom kak internet-predprinimatel'stvo, to bez vlojeniy vse ravno ne oboytis'. Ot pokupki gotovix baz etot variant otli4aetsa imenno svejest'u informacii – vam vsegda dostupni obob6ennie dannie za poslednie 3 mesaca. Nu i esli uj vi etu uslugu kupili, to ee dal'ney6ee ispol'zovanie v dele bor'bi s banom Google pri rabote obsujdaemogo skripta - eto uje vrode kak i besplatniy variant. Ved' usluga uje kuplena, tak ee NEISPOL'ZOVANIE, eto potra4ennoe vrema i den'gi, a ISPOL'ZOVANIE – eto uje prosto pol'za ot proizo6ed6ey kogda-to pokupki ;-)

2. Est' vozmojnost' kupit' vmeste s xostingom nekotoroe koli4estvo dopolnitel'nix IP-adresov. I perepisat' skript tak, 4tobi on posilal zaprosi k Google s etix raznix adresov bez ispol'zovania proksi. Etot variant o4en' xoro6, prejde vsego, po skorosti raboti - tak kak sobrannie besplatnie proksi obi4no dovol'no medlitel'ni. A platnie proksi-servera stoat gorazdo doroje, 4em pokupka dopolnitel'nix IP-adresov. No nado srazu skazat', 4to srednerino4naa stoimost' dopolnitel'nix adresov kolebletsa ot 0.5$ do 1$ v mesac. To est' dla raboti, skajem, v 20 potokov vam nado tratit' 20$ ejemesa4no. A uje upomanutiy viigri6 v skorosti v na6em slu4ae ne osobo polezen - mi vse ravno na kajdom otdel'nom potoke skripta doljni viderjivat' opredelennie (i dovol'no bol'6ie!) pauzi.

Plus, dla korrektnoy raboti etogo podxoda nujen opredelennim obrazom podgotovlenniy xosting (skompilirovanniy s nujnimi parametrami interpretator PHP), no eto ne avlaetsa 4em-to nevozmojnim

3. Nedorogoy. No platniy. Platej odnorazoviy. Pokupaem skript proksi-4ekera. Obsujdalsa v besplatnix (s etim je nomerom) i tam je bil zabrakovan iz za neobxodimosti platit'. Tut emu samoe mesto ;-)

4. Analogi4no predidu6emu. Bil nomerom 4 v besplatnix. Ob&asnau: u mena, naprimer, i tak est' okolo desatka raznix xostingov. To est' mne dla ispol'zovania etogo varianta nujno prosto perepisat' skript. I, tak kak a vse-ravno uje za eti xostingi pla4u den'gi, to dla mena danniy variant budet besplatnim. Dla kogo-to drugogo je on okajetsa vpolne daje platnim. So srednerino4noy cenoy poradka 5-6$ za odin takoy server. To est' o rabote v 20 potokov govorit', skoree vsego, voob6e ne pridetsa, ibo togda cena voprosa budet v 6 raz vi6e, 4em pri pokupke dopolnitel'nix adresov. No kak variant - vpolne vozmojen.

Tak 4to sredi platnix liderami stanovatsa dva varianta - nomer 2 i nomer 3. Po cene tretiy predpo4titel'ney, no nado e6e proverit' ix na sootno6enie cena/proizvoditel'nost'. Tut mogut bit' varianti, no dla dolgosro4noy netoroplivoy raboti ejemesa4niy platej v 10$-20$ mojet vilit'sa v sami ponimaete kakie summi.

6. Vivodi

- sredi besplatnix variantov est' dva lidera - variant "ne dla vsex" (so starimi API-klu4ami ot Google) i dolgiy-dolgiy, zato absolutno besplatniy variant pod nomerom 1
- sredi uslovno-besplatnix dva varianta (oni je i lideri, ibo ix vsego dva) pod nomerami 2 i 4
- sredi platnix, no ne o4en' dorogix, a bi v liderax ostavil tol'ko variant s pokupkoy proksi-4ekera

Li4no dla seba a etot posledniy variant na danniy moment s4itau bezuslovnim liderom vo vsex trex kategoriax srazu. U mena est' e6e i dovol'no mnogo starix API-klu4ikov, no a im, pojaluy, naydu drugoe primenenie ;-)

Oleg Sav4enko, internet-predprinimatel'

seonews.ru/masterclasses/detail/29904.php