Proksees vir webskraap: 'n vaste IP-poel met onbeperkte verkeer
Updated:
Webskraap-proksees wat per gigagreep gefaktureer word, maak 'n kruiper duurder elke keer as 'n bladsy swaarder word; daarom is bestendige, geskeduleerde kruipers goedkoper op 'n vaste poel van adresse met onbeperkte verkeer. ProxyV4 verkoop privaat IPv4 in sewe lande en statiese ISP in die VSA en Viëtnam, elk geprys per IP sonder verkeermeting. Jy bepaal die poelgrootte volgens hoeveel versoeke per sekonde die teikens duld, en die rekening bly dieselfde, ongeag wat die bladsye weeg.
- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
- 1 IPUSD 1,85
- 3+ IP'sUSD 1,70
- 10+ IP'sUSD 1,60
- 25+ IP'sUSD 1,50
- 50+ IP'sUSD 1,40
- 100+ IP'sUSD 1,30
- 200+ IP'sUSD 1,20
- 500+ IP'sUSD 1,10
Pryse per IP teenoor pryse per GB vir 'n kruiper
| Vraag | Statiese poel (per IP) | Gemete verkeer (per GB) |
|---|---|---|
| Wat dryf die koste | Aantal IP's en huurtermyn | Afgelaaide grepe, insluitend HTML, JS en bates |
| Wat gebeur wanneer bladsye swaarder word | Niks; bandwydte is onbeperk | Die rekening groei daarmee saam |
| Wat beperk deurset | Elke teiken se per-IP-tempobeperking | Begroting |
| Hoe om te skaal | Voeg IP's by; die prys per IP daal met hoeveelheid | Koop meer verkeer |
Waarom skrapers geblokkeer word, en wat 'n poel verander
Met die skraap van katalogusse, lyste en openbare API's gaan die meeste blokkerings nie oor wie jy is nie, maar oor hoe vinnig jy versoeke rig: 'n enkele adres wat 'n werf se versoektempo oorskry, kry HTTP 429. 'n Poel van 10 tot 100 statiese IP's, elkeen gehou by 'n hoflike gelyktydigheid, hou elke adres onder die drempel terwyl die kruiper as geheel teen die vereiste spoed hardloop.
Eksklusiewe toewysing ('single tenancy') help hier ook. Elke ProxyV4-IP behoort aan een kliënt vir die hele huurtermyn, so die tempogeskietnis wat 'n teiken op daardie adres sien, is uitsluitlik joune.
Pas die poel by die teiken aan
- Openbare katalogusse en hoëvolume-API's: privaat IPv4 in die Verenigde State of Singapoer, die laagste koste per IP
- Viëtnamese e-handel en plaaslike portale: Viëtnam-IPv4 om plaaslike bladsye en pryse te kry
- Teikens wat gasheer-ASN'e agter 'n WAF filtreer: statiese ISP in die Verenigde State of Viëtnam, geregistreer op verbruikers-ISP's, wat gewoonlik minder Cloudflare-uitdagings beteken
- Teikens wat 'n nuwe IP met elke versoek benodig: roterende Viëtnam-proksees is nog nie te koop nie; die roterende Viëtnam-bladsy bevat die waglys
Kruiperinstellings wat 'n statiese poel laat hou
Elke lyn gebruik standaard-aanmeldinligting, so in Python is die instaanbediener bloot proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Wys versoeke om-die-beurt ('round-robin') oor die lys toe en voeg ewekansige skommeling ('jitter') by, ongeveer 2 tot 5 sekondes per IP per teikendomein
- Hergebruik verbindings met
requests.Session()of 'n gekombineerde kliënt sodat jy nie vir 'n TLS-handdruk met elke versoek betaal nie - In Playwright en Puppeteer, blokkeer beelde, lettertipes en media wat jy nie ontleed nie
- Wanneer 'n IP HTTP 429 of 503 kry, haal dit uit rotasie vir 'n afkoeltydperk en trek terug eerder as om dadelik weer te probeer
Stap vir stap
- 1
- 2
Skakel die lys om na URL's
Plak die
ip:port:user:pass-reëls in die omskakelaar vir instaanbedienerformate omhttp://user:pass@ip:port-stringe of JSON te kry. - 3
Koppel die poel aan jou raamwerk
Gebruik die opstelbladsye vir Python Requests, Scrapy, Selenium of Node.js Axios.
- 4
Meet voor die eerste volledige lopie
Toets reaksietye met die instaanbediener-spoedtoets en verwyder enige lyn wat stadig na jou teiken is.
Gereelde vrae
Word skraapverkeer op ProxyV4-proksees gemeet?
Nee. Privaat IPv4 en statiese ISP word per IP vir die huurtermyn geprys met onbeperkte bandwydte.
Hoeveel bladsye per dag kan een statiese IP herwin?
Dit hang af van die teiken se tempobeperking. Teen 1 tot 3 versoeke per minuut per domein herwin een IP ongeveer 1 500 tot 4 000 bladsye per dag sonder om uit te staan.
Verkoop julle roterende proksees vir skraapwerk?
Nog nie. Roterende Viëtnam-proksees is slegs op 'n waglys beskikbaar. Vir nou doen 'n statiese poel met om-die-beurt-toewysing dieselfde werk vir die meeste geskeduleerde kruiptake.
Hoe skakel ek 50 proksees vinnig om na Scrapy-formaat?
Plak hulle in die omskakelaar vir instaanbedienerformate. Dit skakel ip:port:user:pass-reëls in die blaaier om na URL-stringe of 'n JSON-skikking.
Bou 'n skraappoel met 'n vaste maandelikse koste
Privaat IPv4 in sewe lande en statiese ISP in die VSA en Viëtnam, geprys per IP met onbeperkte verkeer.
Gaan intydse VSA-IPv4-pryse na