Proxyer til web scraping: en fast pulje af IP'er med ubegrænset trafik
Updated:
Web scraping-proxyer afregnet pr. gigabyte gør en crawler dyrere, hver gang en side bliver tungere. Derfor er faste, planlagte crawlere billigere med en fast pulje af adresser med ubegrænset trafik. ProxyV4 sælger privat IPv4 i syv lande og statisk ISP i USA og Vietnam, altid afregnet pr. IP uden forbrugsgrænser. Du dimensionerer puljen ud fra, hvor mange forespørgsler pr. sekund målene tillader, og regningen forbliver den samme, uanset hvor tunge siderne er.
- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
- 1 IP1,85 US$
- 3+ IP'er1,70 US$
- 10+ IP'er1,60 US$
- 25+ IP'er1,50 US$
- 50+ IP'er1,40 US$
- 100+ IP'er1,30 US$
- 200+ IP'er1,20 US$
- 500+ IP'er1,10 US$
Pris pr. IP i forhold til pris pr. GB for en crawler
| Spørgsmål | Statisk pulje (pr. IP) | Forbrugsafregnet trafik (pr. GB) |
|---|---|---|
| Hvad driver omkostningerne | Antal IP'er og lejeperiode | Downloadede bytes, inklusive HTML, JS og ressourcer |
| Hvad sker der, når sider bliver tungere | Intet; båndbredden er ubegrænset | Regningen vokser i takt med dem |
| Hvad begrænser throughput | Hvert måls grænse for forespørgsler pr. IP | Budgettet |
| Hvordan man skalerer | Tilføj IP'er; prisen pr. IP falder med mængden | Køb mere trafik |
Hvorfor scrapere bliver blokeret, og hvad en pulje ændrer
Ved scraping af kataloger, produktoversigter og offentlige API'er handler de fleste blokeringer ikke om, hvem du er, men om hvor hurtigt du spørger: en adresse, der overskrider et websites grænse for forespørgsler, modtager HTTP 429. En pulje på 10 til 100 statiske IP'er, der hver holdes på en moderat samtidig belastning, holder hver adresse under grænsen, mens crawleren som helhed kører med den hastighed, du har brug for.
Dedikeret brug hjælper også her. Hver ProxyV4-IP tilhører én kunde i hele lejeperioden, så den historik over forespørgsler, et mål ser på den pågældende adresse, er udelukkende din.
Tilpasning af puljen til målet
- Offentlige kataloger og API'er med høj volumen: privat IPv4 i USA eller Singapore, den laveste pris pr. IP
- Vietnamesisk e-handel og lokale portaler: Vietnam IPv4 for at få indenlandske sider og lokale priser
- Mål, der filtrerer hosting-ASN'er bag en WAF: statisk ISP i USA eller Vietnam, registreret hos forbruger-ISP'er, hvilket typisk betyder færre Cloudflare-udfordringer
- Mål, der kræver en ny IP ved hver forespørgsel: roterende Vietnam-proxyer er endnu ikke sat til salg; ventelisten findes på siden for roterende Vietnam-proxyer
Crawler-indstillinger, der får en statisk pulje til at holde
Hver linje bruger standardoplysninger, så i Python er proxyen blot proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Fordel forespørgsler efter round-robin-princippet over listen, og tilføj tilfældig forsinkelse (jitter), ca. 2 til 5 sekunder pr. IP pr. måldomæne
- Genbrug forbindelser med
requests.Session()eller en klient med forbindelsespulje, så du ikke betaler for et TLS-handshake ved hver forespørgsel - I Playwright og Puppeteer bør du blokere billeder, skrifttyper og medier, du ikke parser
- Når en IP modtager HTTP 429 eller 503, tages den ud af rotationen til en afkølingsperiode og trækkes tilbage i stedet for straks at prøve igen
Trin for trin
- 1
Køb en pulje tilpasset dine mål
Vælg antal pr. land, for eksempel IPv4 i USA, Japan eller Storbritannien. Mængderabatter anvendes automatisk, efterhånden som antallet stiger.
- 2
Omdan listen til URL'er
Indsæt
ip:port:user:pass-linjerne i proxy-formatkonverteren for at fåhttp://user:pass@ip:port-strenge eller JSON. - 3
Forbind puljen til dit framework
Brug opsætningsvejledningerne til Python Requests, Scrapy, Selenium eller Node.js Axios.
- 4
Mål før den første fulde kørsel
Tjek svartider med proxy-hastighedstesten, og fjern linjer, der er langsomme i forhold til dit mål.
Ofte stillede spørgsmål
Bliver scraping-trafik på ProxyV4-proxyer forbrugsafregnet?
Nej. Privat IPv4 og statisk ISP afregnes pr. IP for lejeperioden med ubegrænset båndbredde.
Hvor mange sider om dagen kan én statisk IP hente?
Det afhænger af målets grænse for forespørgsler. Ved 1 til 3 forespørgsler i minuttet pr. domæne henter én IP omtrent 1.500 til 4.000 sider om dagen uden at vække opsigt.
Sælger I roterende proxyer til scraping?
Ikke endnu. Roterende Vietnam-proxyer er kun tilgængelige via venteliste. Indtil videre udfører en statisk pulje med round-robin-fordeling den samme opgave for de fleste planlagte scrapings.
Hvordan konverterer jeg hurtigt 50 proxyer til Scrapy-format?
Indsæt dem i proxy-formatkonverteren. Den omdanner ip:port:user:pass-linjer til URL-strenge eller et JSON-array direkte i browseren.
Opbyg en scraping-pulje med en fast månedlig omkostning
Privat IPv4 i syv lande og statisk ISP i USA og Vietnam, prissat pr. IP med ubegrænset trafik.
Se aktuelle priser på US IPv4