ProxyV4

Python-requests deur 'n geoutentiseerde proxy, stap vir stap

· Updated:

Om 'n proxy in Python requests te gebruik, gee 'n proxies-dict deur waarvan beide die 'http'- en 'https'-sleutels na http://user:pass@ip:port verwys. Plaas daardie dict op 'n requests.Session() en dieselfde verbinding na die proxy word vir elke oproep hergebruik, wat vinniger is as om 'n nuwe een per versoek oop te maak. Hieronder: die dict, die sessie, die foute wat jy waarskynlik sal teëkom, en 'n eenreël-toets van die ProxyV4-uittree-IP.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privaat IPv4 (datasentrum)
🇺🇸 Verenigde State
In voorraad
Vanaf
USD 1,10 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 1,85
  • 3+ IP'sUSD 1,70
  • 10+ IP'sUSD 1,60
  • 25+ IP'sUSD 1,50
  • 50+ IP'sUSD 1,40
  • 100+ IP'sUSD 1,30
  • 200+ IP'sUSD 1,20
  • 500+ IP'sUSD 1,10
Koop Verenigde State
Privaat IPv4 (datasentrum)
🇻🇳 Viëtnam
In voorraad
Vanaf
USD 1,10 / IP / maand
Hoeveelheidsafslag
  • 1 IPUSD 1,85
  • 3+ IP'sUSD 1,70
  • 10+ IP'sUSD 1,60
  • 25+ IP'sUSD 1,50
  • 50+ IP'sUSD 1,40
  • 100+ IP'sUSD 1,30
  • 200+ IP'sUSD 1,20
  • 500+ IP'sUSD 1,10
Koop Viëtnam

Die proxies-dict verduidelik

InstellingWaardeRede
'http'-sleutel'http://user:pass@ip:port'Word gebruik vir gewone http://-URL'e
'https'-sleutel'http://user:pass@ip:port'Steeds 'n http://-proxy-URL: urllib3 vra die proxy vir 'n CONNECT-tonnel en loop TLS daarin
timeouttimeout=(5, 15)5 s om te koppel, 15 s om te lees, sodat 'n onreaktiewe teiken nie 'n draad kan laat vries nie
Rotasieitertools.cycle(proxy_list)Deel jou statiese IP's om die beurt uit

Waarom 'n Session gewone requests.get() klop

Elke topvlak requests.get()-oproep bou 'n nuwe verbindingspoel, so die TCP-verbinding na die proxy en die TLS-handdruk met die werf word elke keer herhaal. 'n Session hou daardie verbindings aktief tussen oproepe. Vir 'n skrip wat honderde bladsye deur een IP ophaal, is daardie verskil duidelik sigbaar in die totale looptyd.

Stel s.proxies.update(proxies) een keer in en elke s.get() en s.post() gaan deur die proxy. Een ding om te weet: as HTTP_PROXY of HTTPS_PROXY in die omgewing ingestel is, kan requests hulle met die sessie se instellings kombineer; gee proxies= op die oproep self deur wanneer jy seker wil wees watter een gebruik word.

Foute en hoe om hulle te lees

  • ProxyError met 407 Proxy Authentication Required: die proxy is bereikbaar, maar die aanmelding in jou URL stem nie ooreen met die bestelling nie. Sien die 407-foutbladsy
  • Wagwoorde wat @, : of / bevat, breek die URL; enkodeer hulle eers met urllib.parse.quote(password, safe='')
  • Om die proxy-URL na https:// te verander breek gewoonlik die verbinding; behou http:// vir albei sleutels tensy jou proxy-poort spesifiek 'n TLS-poort is
  • ConnectTimeout dui op die IP of poort, nie die aanmeldbesonderhede nie; toets bereikbaarheid met die poorttoetser

Dieselfde patroon in httpx en aiohttp

Die URL-formaat bly dieselfde. In httpx, skep httpx.Client(proxy='http://user:pass@ip:port'); in aiohttp, gee proxy= deur aan session.get(url, proxy=...). Groter deurkruipings met skedulering en herproberings is gewoonlik makliker in Scrapy.

Stap vir stap

  1. 1

    Bou die proxy-URL

    Herskryf elke ProxyV4 ip:port:user:pass-reël as http://user:pass@ip:port, of skakel die hele lys om met die proxy-formaatomskakelaar.

  2. 2

    Skep die dict

    Skryf proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Koppel dit aan 'n Session

    Skep s = requests.Session() en roep s.proxies.update(proxies) op sodat verbindings aktief gehou word tussen versoeke.

  4. 4

    Druk die uittree-IP

    Voer print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) uit; die IP in die afvoer behoort dié van die proxy te wees.

Gereelde vrae

Waarom is die 'https'-inskrywing 'n http://-URL?

Die skema beskryf hoe Python met die proxy kommunikeer, nie met die webwerf nie. urllib3 koppel aan die proxy oor gewone HTTP, stuur CONNECT, en voer dan TLS met die https://-werf deur daardie tonnel uit, sodat die bladsyverkeer steeds geënkripteer is.

Hoe versprei ek versoeke oor 25 statiese proxies?

Plaas die 25 URL'e in 'n lys, skep pool = itertools.cycle(PROXIES), en neem vir elke versoek p = next(pool) en gee proxies={'http': p, 'https': p} deur. Handhaaf 'n redelike vertraging per IP sodat geen enkele adres oorlaai word nie.

Word verkeer vanaf Python-skrifte gemeet?

Nee. ProxyV4 se privaat IPv4- en statiese ISP-planne kom met onbeperkte bandwydte, so langlopende skrifte loop nie teen 'n datalimiet vas nie.

Bronne

'n Statiese IP-poel vir Python-skrifte

Privaat IPv4 in 7 lande plus statiese ISP in die VSA en Viëtnam. Koop 'n enkele IP of 'n bondel; die prys per IP daal met groter hoeveelhede.

Kyk regstreekse VSA-pryse

Related articles

Instaanbedieners per platform
Proksees vir webskraap: 'n vaste IP-poel met onbeperkte verkeer
Webskraap-proksees vir Python, Scrapy, Playwright en Selenium: 'n poel privaat IPv4- en statiese ISP-adresse, onbeperkte bandwydte, vaste pryse per IP.
Instaan-opstelling
Playwright-proxyverifikasie, een statiese IP per konteks
Gee elke Playwright-blaaierkonteks sy eie geverifieerde HTTP(S)-proxy in Node.js of Python, pas tydsone en taal by die IP aan en bevestig die uitgangsadres.
Instaan-opstelling
Scrapy-proxies: meta['proxy'], middleware-volgorde en rotasie
Gebruik geoutentiseerde HTTP(S)-proxies in Scrapy: stel request.meta['proxy'], plaas middleware voor HttpProxyMiddleware (750), roteer IP's en pas tempo aan.
Gratis nutsmiddels
Herskryf 'n proxy-lys na die formaat wat jou nutsding verwag
Skakel proxy-lyste in jou blaaier om tussen ip:port:user:pass, user:pass@ip:port, http://-URL's, SOCKS5-URI's, JSON-skikkings en FoxyProxy-lêers, in grootmaat.
Instaanbedieners per platform
Proxy's vir SEO-rangopsporing: sien die resultatebladsy wat 'n plaaslike soeker sien
SEO-rangopsporing-proxy's met privaat IPv4 in die VSA, VK, Viëtnam, Japan en nog vier markte, sodat ranglyste, plaaslike pakke en advertensies plaaslik pas.
Instaanbedieners per platform
Amazon-verkoper-proxies wat aan elke rekening 'n permanente adres gee
Amazon-verkoper-proxies vir Seller Central, KDP en Merch: statiese VSA-ISP of VK/Japan privaat IPv4 per rekening, net aan jou verhuur en behou met hernuwing.
IPV4 · united states
VSA Privaat IPv4-proxy-poel vir skraapwerk, rangopsporing en advertensiekontroles
Koop private VS IPv4-proxy's: statiese VSA-datasentrum-IP's, een kliënt per IP, onbeperkte bandwydte. Vir skraapwerk, SERP-opsporing en VS-advertensietoetse.
IPV4 · vietnam
Viëtnam Privaat IPv4-proxy: Een vaste IP per rekening in groot volumes
Viëtnamese private IPv4-proxy's: statiese datasentrum-IP's, een per kliënt, geprys vir volume. Vir seeding-profiele, sekondêre Shopee-winkels en nutsmiddels.