ProxyV4

Design en scraper omkring en pulje af dedikerede IP'er

Updated:

Web scraping-proxyer fordeler dine forespørgsler over mange adresser, så ingen enkelt IP bærer hele crawling-belastningen. Til de fleste mål er en pulje af private IPv4-adresser den hurtigste og billigste løsning; statiske ISP-adresser er reserveløsningen til websites, der blokerer datacenter-IP-serier. Du roterer puljen i din egen kode, hvilket betyder, at du altid ved, hvilken IP der hentede hvilken side.

Hvorfor én enkelt IP holder op med at fungere

Websites sætter grænser for, hvor mange forespørgsler en adresse må sende. En crawler, der kører fra din kontorforbindelse, rammer hurtigt denne grænse, og blokeringen kan ramme alle andre i bygningen. En proxy-pulje fordeler belastningen, holder dit eget netværk ude af logfilerne og lader dig hente den version af en side, som besøgende i et givet land modtager.

Typiske brugere: e-handelsteams, der sporer konkurrenters priser og lagerstatus, analytikere, der opbygger offentlige datasæt, aggregatorer af rejser, ejendomme og jobopslag samt udviklere, der tester deres egne websites fra andre lande.

Statisk pulje versus roterende gateway

Med en statisk pulje tilhører adresselisten dig i lejeperioden. Din scheduler vælger en IP pr. forespørgsel eller pr. session, logger den og udfaser enhver adresse, der begynder at blive begrænset. Hver IP er single-tenant, så dens omdømme udelukkende afspejler din trafik, og den faste liste er nem at hvidliste i interne værktøjer.

Båndbredde på privat IPv4 og statisk ISP måles ikke efter forbrug. Store sider, billeder og langvarige crawls afregnes pr. IP, ikke pr. gigabyte.

Vælg det rette produkt til dit mål

MålProduktÅrsag
Offentlige kataloger, API'er, de fleste websitesPrivat IPv4Hurtig, omkostningseffektiv, syv lande
Websites, der afviser datacenter-serierStatisk ISP, USA eller VietnamAdresser registreret hos forbruger-ISP'er
Meget store crawls af IPv6-klare websitesIPv6Mange adresser til en lav pris pr. IP; bekræft, at websitet accepterer IPv6
Lokaliserede sider i AsienPrivat IPv4 i Japan, Sydkorea, Singapore, Hongkong eller VietnamHent det, som lokale besøgende ser

Puljestørrelse og anmodningsdisciplin

  • Dimensionér puljen ud fra din ønskede anmodningshastighed: flere adresser med en moderat hastighed pr. IP holder længere end få adresser, der presses hårdt.
  • Fastlås én adresse under hele forløbet af en indlogget session eller kurvsession, og skift derefter.
  • Send realistiske headers, tilføj jitter mellem forespørgsler, og træk dig tilbage ved HTTP 429 og 403.
  • Validér svar, så captcha-sider og blokeringssider aldrig havner i datasættet.
  • Tjek adresser med proxy-tjekkeren (op til 100 ad gangen; adgangskoder gemmes ikke), og fjern langsomme eller blokerede adresser.

Integrer puljen i din stack

Hver adresse fungerer over HTTP(S) eller SOCKS5 med brugernavn og adgangskode, leveret som ip:port:user:pass under Ordrer. Gængse biblioteker accepterer dette direkte; se opsætningssiderne for Python requests, Scrapy, Playwright og Puppeteer. Desktop-værktøjer uden proxy-indstillinger kan routes gennem Proxifier. Siden om web scraping-proxyer indeholder målspecifikke bemærkninger.

Indsaml data ansvarligt

En proxy ændrer, hvor en forespørgsel kommer fra, ikke hvad du har ret til at indsamle. Respekter robots.txt, websitets vilkår og den databeskyttelseslovgivning, der gælder for dig, og indsaml ikke personoplysninger, du ikke har ret til at behandle. At oversvømme et website med parallelle forespørgsler, scraping bag logins med konti, du ikke ejer, samt groft misbrug overtræder også vores vilkår.

Ofte stillede spørgsmål

Bør jeg starte med datacenter- eller ISP-proxyer til scraping?

Datacenter. Privat IPv4 er hurtigere og tilgængelig i flere lande. Flyt kun et mål til statisk ISP, hvis det blokerer datacenter-serier. Sammenligningen af proxy-typer forklarer afvejningen.

Er en roterende proxy-tjeneste nødvendig?

Nej. En statisk pulje, der roteres i din egen kode, giver dig fuld kontrol over, hvilken adresse der håndterer hvilken forespørgsel.

Afregnes trafikken efter forbrug?

Nej. Privat IPv4 og statisk ISP har ubegrænset båndbredde; du betaler pr. IP for lejeperioden.

Kan jeg bruge SOCKS5 med Scrapy eller Playwright?

Ja. Betalte proxyer understøtter HTTP(S) og SOCKS5 med brugernavn og adgangskode; skift ordren til SOCKS5 (eller begge) på dens side i kontrolpanelet. Scrapys indbyggede middleware taler kun HTTP, så behold HTTP der. Se HTTP vs SOCKS5.

Er web scraping lovligt?

Det afhænger af, hvad du indsamler, hvor du opererer, og websitets vilkår. Indsamling af offentlige, ikke-personlige data under respekt for robots.txt er almindelig praksis; undersøg reglerne for dit eget projekt.

Start en scraping-pulje

Bestil så mange private IPv4-adresser, som dit crawl kræver; prisen pr. IP falder med mængden, og båndbredden måles ikke efter forbrug.

Se priser på amerikanske datacenter-IP'er

Related articles

Brugsscenarier
Opbyg et rank tracking-setup, der viser reelle lokale positioner
Tjek Google-placeringer, som lokale brugere ser dem: Hav én IP pr. marked, dosér dine søgninger, og undgå opsætningsfejl, der forvrænger data.
Proxyer efter platform
Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik
Web scraping-proxyer til Python, Scrapy, Playwright og Selenium: en pulje af private IPv4- og statiske ISP-adresser, ubegrænset båndbredde, fast pris pr. IP.
Vidensbase
Datacenter, ISP eller residential: Tre typer proxy-IP'er forklaret
ISP vs. datacenter vs. residential proxy: Hvem ejer IP'en, hvor kører den, holdbarhed, afregning, og hvad der passer til konti, annoncer eller scraping.
Proxy-opsætning
Scrapy-proxyer: meta['proxy'], middleware-rækkefølge og rotation
Brug godkendte HTTP(S)-proxyer i Scrapy: sæt request.meta['proxy'], placer din middleware før HttpProxyMiddleware (750), roter IP'er og styr dit crawl-tempo.
Gratis værktøjer
Tjek proxyer i bulk: status, exit-IP og latency
Gratis online proxy-checker: Indsæt op til 100 ip:port:user:pass-linjer, se hvilke der virker, deres exit-IP og latency, samt hvad fejlresultaterne betyder.
ISP · vietnam
Statisk ISP-proxy i Vietnam til primære butikker og annoncekonti
Statiske Vietnam ISP-proxyer på IP'er fra vietnamesiske forbrugerudbydere. Fast IP til primære Shopee-shops, TikTok Shop, Facebook-annoncekonti og Zalo OA.
ISP · united states
Statisk ISP-proxy i USA: En hjemmeregistreret IP, der aldrig ændrer sig
Statiske US ISP-proxies på IP'er registreret hos private internetudbydere. Én fast amerikansk IP per konto til Amazon-sælgere, annoncekonti og Instagram.
Proxyer efter platform
Proxyer til TikTok Shop-sælgere, der driver mere end én butik
TikTok Shop-proxyer til multi-butik-sælgere: statisk ISP eller privat IPv4 pr. butik i USA, Vietnam, UK eller Singapore. Samme IP beholdes ved fornyelse.