ProxyV4

Design en skraper rundt en pool med dedikerte IP-er

Updated:

Proxyer for web scraping fordeler forespørslene dine over mange adresser slik at ingen enkelt-IP bærer hele skrapejobben. For de fleste mål er en pool med private IPv4-adresser det raskeste og rimeligste alternativet; statiske ISP-adresser er reserveløsningen for nettsteder som blokkerer datasenterserier. Du roterer poolen i din egen kode, noe som betyr at du alltid vet hvilken IP som hentet hvilken side.

Hvorfor én IP slutter å fungere

Nettsteder setter grenser for hvor mange forespørsler én adresse kan sende. En crawler som kjører fra kontorlinjen din, når raskt denne grensen, og blokkeringen kan ramme alle andre i bygningen. En proxy-pool fordeler belastningen, holder ditt eget nettverk ute av loggene og lar deg hente versjonen av en side som besøkende i et gitt land ser.

Typiske brukere: netthandelsteam som overvåker konkurrentenes priser og lagerstatus, analytikere som bygger åpne datasett, aggregatorer for reise, eiendom og stillingsannonser, samt utviklere som tester egne nettsteder fra andre land.

Statisk pool kontra roterende gateway

Med en statisk pool disponerer du adresselisten gjennom hele leieperioden. Planleggeren din velger en IP per forespørsel eller per økt, logger den og tar ut adresser som begynner å bli strupet. Hver IP er dedikert til én bruker, så omdømmet gjenspeiler kun din trafikk, og den faste listen er enkel å hviteliste i interne verktøy.

Båndbredde på privat IPv4 og statisk ISP måles ikke. Store sider, bilder og omfattende skrapejobber betales per IP, ikke per gigabyte.

Tilpass produktet til målet

MålProduktÅrsak
Offentlige kataloger, API-er, de fleste nettstederPrivate IPv4Raskt, kostnadseffektivt, sju land
Nettsteder som avviser datasenterserierStatic ISP, USA eller VietnamAdresser registrert på forbruker-ISP-er
Svært store skrapejobber på IPv6-klare nettstederIPv6Mange adresser til en lav pris per IP; bekreft at nettstedet støtter IPv6
Lokaliserte sider i AsiaPrivat IPv4 i Japan, Sør-Korea, Singapore, Hongkong eller VietnamHent det lokale besøkende ser

Dimensjonering av pool og forespørselsdisiplin

  • Dimensjoner poolen ut fra ønsket forespørselsfrekvens: flere adresser med en moderat hastighet per IP varer lenger enn noen få adresser som presses hardt.
  • Lås én adresse for hele varigheten av en innlogget økt eller handlekurvøkt, og bytt deretter.
  • Send realistiske headere, legg til tidsvariasjon (jitter) mellom forespørsler, og trekk deg tilbake ved HTTP 429 og 403.
  • Valider svar slik at captcha-sider og blokkeringssider aldri havner i datasettet.
  • Kontroller adresser med proxy-sjekkeren (opptil 100 om gangen, passord lagres ikke) og fjern trege eller blokkerte adresser.

Integrer poolen i teknologistakken din

Hver adresse fungerer over HTTP(S) eller SOCKS5 med brukernavn og passord, levert som ip:port:user:pass under Bestillinger. Vanlige biblioteker godtar dette direkte; se oppsettsidene for Python requests, Scrapy, Playwright og Puppeteer. Skrivebordsverktøy uten proxy-innstillinger kan rutes gjennom Proxifier. Siden for proxy til web scraping gir målspesifikke merknader.

Samle inn data ansvarlig

En proxy endrer hvor en forespørsel kommer fra, ikke hva du har rett til å samle inn. Respekter robots.txt, nettstedets vilkår og gjeldende personvernlovgivning, og ikke samle inn personopplysninger du ikke har rett til å behandle. Å oversvømme et nettsted med parallelle forespørsler, skrape bak innlogginger med kontoer du ikke eier, samt grovt misbruk bryter også våre vilkår.

Ofte stilte spørsmål

Bør jeg starte med datasenter- eller ISP-proxyer for scraping?

Datasenter. Privat IPv4 er raskere og tilgjengelig i flere land. Flytt et mål over til statisk ISP bare dersom det blokkerer datasenterserier. Sammenligningen av proxy-typer forklarer avveiningene.

Er en roterende proxy-tjeneste nødvendig?

Nei. En statisk pool som roteres av din egen kode gir deg full kontroll over hvilken adresse som håndterer hvilken forespørsel.

Måles datatrafikken?

Nei. Privat IPv4 og statisk ISP har ubegrenset båndbredde; du betaler per IP for leieperioden.

Kan jeg bruke SOCKS5 med Scrapy eller Playwright?

Ja. Kjøpte proxyer støtter HTTP(S) og SOCKS5 med brukernavn og passord; endre bestillingen til SOCKS5 (eller begge) på sin side i kontrollpanelet. Scrapys innebygde mellomvare støtter kun HTTP, så behold HTTP der. Se HTTP vs SOCKS5.

Er web scraping lovlig?

Det avhenger av hva du samler inn, hvor du opererer og nettstedets vilkår. Å hente inn offentlige, ikke-personlige data samtidig som du respekterer robots.txt er vanlig praksis; sjekk reglene som gjelder for ditt prosjekt.

Start en scraping-pool

Bestill så mange private IPv4-adresser som skrapejobben din krever; prisen per IP faller med volum, og båndbredden måles ikke.

Sjekk priser for US-datasentre

Related articles

Bruksområder
Bygg et oppsett for rangeringssporing som gir reelle lokale plasseringer
Sjekk Google-rangeringer slik lokale søkere ser dem: planlegg én IP per marked, fordel søkene og unngå oppsettsfeilene som gir feilaktige data.
Proxyer etter plattform
Proxyer for web scraping: en fast pool med IP-er og ubegrenset trafikk
Web scraping-proxyer for Python, Scrapy, Playwright og Selenium: en pool med private IPv4- og statiske ISP-adresser, ubegrenset båndbredde, fast pris per IP.
Kunnskapsbase
Datasenter, ISP eller bolig: Tre typer proxy-IP-er forklart
ISP vs. datasenter vs. boligproxy: Hvem eier IP-en, hvor den kjører, levetid, prismodell og hva som passer til kontoer, annonser eller datainnsamling.
Proxy-oppsett
Scrapy-proxyer: meta['proxy'], middleware-rekkefølge og rotasjon
Bruk autentiserte HTTP(S)-proxyer i Scrapy: angi request.meta['proxy'], plasser middleware før HttpProxyMiddleware (750), roter IP-er og styr crawletempoet.
Gratis verktøy
Sjekk proxyer i bulk: status, utgående IP og latens
Gratis proxy-sjekker: Lim inn opptil 100 ip:port:user:pass-linjer og se hvilke proxyer som fungerer, utgående IP og latens, samt hva feilresultatene betyr.
ISP · vietnam
Statisk ISP-proxy i Vietnam for hovedbutikker og annonsekontoer
Statiske ISP-proxyer i Vietnam på IP-er fra vietnamesiske forbrukerleverandører. Fast IP for Shopee, TikTok Shop, Facebook-annonsekontoer og Zalo OA.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistrert IP som aldri endres
Statiske USA-ISP-proxyer på IP-er registrert hos forbruker-ISP-er. Én fast amerikansk IP per konto for Amazon-selgere, annonsekontoer og Instagram.
Proxyer etter plattform
Proxyer for TikTok Shop-selgere som driver flere butikker
TikTok Shop-proxyer for flere butikker: statisk ISP eller privat IPv4 per butikk i USA, Vietnam, Storbritannia eller Singapore. Behold samme IP ved fornyelse.