Načrtovanje strgalnika z naborom namenskih IP-naslovov
Updated:
Proxyji za strganje spleta razporedijo vaše zahteve med številne naslove, da noben posamezen IP ne nosi celotnega zajema. Za večino ciljev je nabor zasebnih naslovov IPv4 najhitrejša in najugodnejša možnost; statični naslovi ISP so rešitev za strani, ki blokirajo razpone podatkovnih centrov. Nabor rotirate v svoji lastni kodi, kar pomeni, da vedno veste, kateri IP je pridobil katero stran.
Zakaj en sam IP preneha delovati
Spletna mesta omejujejo število zahtev, ki jih lahko pošlje posamezen naslov. Pajek, ki teče prek vaše pisarniške povezave, hitro doseže to mejo, blokada pa lahko doleti vse ostale v stavbi. Nabor proxyjev razdeli obremenitev, ohrani vaše lastno omrežje izven dnevnikov in vam omogoča prenos različice strani, ki jo vidijo obiskovalci v določeni državi.
Tipični uporabniki: ekipe za e-trgovino, ki spremljajo cene in zaloge konkurence, analitiki, ki gradijo javne nabore podatkov, agregatorji ponudb za potovanja, nepremičnine in delovna mesta ter razvijalci, ki testirajo svoja spletna mesta iz drugih držav.
Statični nabor v primerjavi z rotirajočim prehodom
Pri statičnem naboru je seznam naslovov vaš za celotno obdobje zakupa. Vaš razporejevalnik izbere IP za posamezno zahtevo ali sejo, jo zabeleži in izloči vsak naslov, pri katerem pride do omejevanja hitrosti. Vsak IP je namenjen le enemu uporabniku, zato njegov ugled odraža zgolj vaš promet, nespremenljiv seznam pa je enostavno dodati na seznam dovoljenih v internih orodjih.
Pasovna širina pri zasebnih IPv4 in statičnih ISP naslovih ni omejena. Velike strani, slike in dolgotrajna strganja se plačujejo na posamezen IP in ne na gigabajt.
Prilagoditev produkta cilju
| Cilj | Produkt | Razlog |
|---|---|---|
| Javni katalogi, API-ji, večina strani | Private IPv4 | Hitro, stroškovno učinkovito, sedem držav |
| Strani, ki zavračajo razpone podatkovnih centrov | Static ISP, ZDA ali Vietnam | Naslovi, registrirani pri ponudnikih interneta za končne uporabnike |
| Zelo obsežni zajemi spletnih mest, ki podpirajo IPv6 | IPv6 | Veliko naslovov po nizki ceni na IP; preverite, ali spletno mesto podpira IPv6 |
| Lokalizirane strani v Aziji | Zasebni IPv4 na Japonskem, v Južni Koreji, Singapurju, Hongkongu ali Vietnamu | Prenesite to, kar vidijo lokalni obiskovalci |
Določanje velikosti nabora in disciplina pri zahtevah
- Določite velikost nabora glede na želeno pogostost zahtev: več naslovov z zmerno obremenitvijo na posamezen IP bo zdržalo dlje kot nekaj močno obremenjenih naslovov.
- Za celotno trajanje prijavljene seje ali seje s košarico uporabite en naslov, nato pa ga zamenjajte.
- Pošiljajte realistične glave, dodajte naključne časovne zamike med zahtevami in zmanjšajte tempo ob kodah HTTP 429 in 403.
- Preverjajte odgovore, da se strani s preverjanji captcha in strani z blokadami nikoli ne znajdejo v naboru podatkov.
- Preverite naslove s preverjevalnikom proxyjev (do 100 hkrati, gesla se ne shranjujejo) ter odstranite počasne ali blokirane.
Vključitev nabora v vaš tehnološki sklad
Vsak naslov deluje prek HTTP(S) ali SOCKS5 z uporabniškim imenom in geslom ter je v razdelku Naročila na voljo v obliki ip:port:user:pass. Priljubljene knjižnice to obliko sprejemajo neposredno; oglejte si strani z navodili za namestitev za Python requests, Scrapy, Playwright in Puppeteer. Namizna orodja brez možnosti nastavitve proxyja lahko preusmerite prek orodja Proxifier. Stran s proxyji za strganje spleta ponuja dodatne opombe za posamezne cilje.
Odgovorno zbiranje podatkov
Proxy spremeni lokacijo izvora zahteve, ne pa tudi vaših pravic do zbiranja podatkov. Upoštevajte robots.txt, pogoje uporabe spletnega mesta in veljavno zakonodajo o varstvu podatkov ter ne zbirajte osebnih podatkov, za obdelavo katerih nimate pravice. Preobremenitev spletnega mesta z vzporednimi zahtevami, strganje za prijavami z računi, ki niso vaši, ter hude zlorabe prav tako kršijo naše pogoje poslovanja.
Pogosta vprašanja
Ali naj za strganje začnem s proxyji podatkovnih centrov ali z ISP proxyji?
S podatkovnimi centri. Zasebni IPv4 je hitrejši in na voljo v več državah. Cilj preklopite na statični ISP le, če ta blokira razpone podatkovnih centrov. Primerjava vrst proxyjev pojasnjuje razlike.
Ali je storitev rotirajočih proxyjev nujna?
Ne. Statični nabor, ki ga rotirate z lastno kodo, vam omogoča popoln nadzor nad tem, kateri naslov obdela katero zahtevo.
Ali se promet obračunava?
Ne. Zasebni IPv4 in statični ISP imata neomejeno pasovno širino; plačate na posamezen IP za obdobje zakupa.
Ali lahko uporabljam SOCKS5 s Scrapy ali Playwright?
Da. Plačljivi proxyji podpirajo HTTP(S) in SOCKS5 z uporabniškim imenom in geslom; na strani naročila na nadzorni plošči spremenite protokol na SOCKS5 (ali oba). Vgrajena vmesna programska oprema za Scrapy podpira le HTTP, zato tam ohranite HTTP. Oglejte si HTTP v primerjavi s SOCKS5.
Ali je strganje spleta zakonito?
Odvisno je od tega, kaj zbirate, kje poslujete in od pogojev uporabe spletnega mesta. Zbiranje javnih, neosebnih podatkov ob spoštovanju datoteke robots.txt je uveljavljena praksa; preverite pravila za svoj projekt.
Ustvarite nabor za strganje
Naročite toliko zasebnih naslovov IPv4, kot jih zahteva vaš zajem; cena na IP se z večanjem količine znižuje, pasovna širina pa ni omejena.
Preverite cene za podatkovne centre v ZDA