Python requests todennetun välityspalvelimen kautta vaiheittain
Kirjoittanut ProxyV4-kehitystiimi · Updated:
Jos haluat käyttää välityspalvelinta Pythonin requests-kirjastossa, määritä proxies-sanakirja, jonka 'http'- ja 'https'-avaimet osoittavat kumpikin osoitteeseen http://user:pass@ip:port. Kun liität sanakirjan requests.Session()-olioon, sama yhteys välityspalvelimeen käytetään uudelleen jokaiseen kutsuun, mikä on nopeampaa kuin uuden avaaminen jokaiselle pyynnölle. Alla käydään läpi sanakirja, istunto, yleisimmät virheet sekä yhden rivin tarkistus ProxyV4-palvelimen ulospäin näkyvälle IP-osoitteelle.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
- 1 IP1,85 $
- 3+ IP:tä1,70 $
- 10+ IP:tä1,60 $
- 25+ IP:tä1,50 $
- 50+ IP:tä1,40 $
- 100+ IP:tä1,30 $
- 200+ IP:tä1,20 $
- 500+ IP:tä1,10 $
Miten proxies-sanakirja toimii
| Asetus | Arvo | Peruste |
|---|---|---|
Avain 'http' | 'http://user:pass@ip:port' | Käytetään tavallisille http://-osoitteille |
Avain 'https' | 'http://user:pass@ip:port' | Edelleen http://-proxyosoite: urllib3 pyytää välityspalvelimelta CONNECT-tunnelin ja suorittaa TLS-salauksen sen sisällä |
timeout | timeout=(5, 15) | 5 s yhdistämiseen ja 15 s vastaamiseen, jotta vastaamaton kohde ei jäädytä säiettä |
| Kierrätys | itertools.cycle(proxy_list) | Jakaa staattisia IP-osoitteitasi vuorotellen |
Miksi Session on parempi kuin pelkkä requests.get()
Jokainen yksittäinen requests.get()-kutsu muodostaa uuden yhteysvarannon, jolloin TCP-yhteys välityspalvelimeen ja TLS-kättely sivuston kanssa toistetaan joka kerta. Session pitää nämä yhteydet auki kutsujen välillä. Jos skripti hakee satoja sivuja saman IP-osoitteen kautta, ero näkyy selvästi kokonaisajassa.
Määritä s.proxies.update(proxies) kerran, ja jokainen s.get() ja s.post() kulkee välityspalvelimen kautta. Huomioitava asia: jos ympäristömuuttujat HTTP_PROXY tai HTTPS_PROXY on asetettu, requests saattaa yhdistää ne istunnon asetuksiin. Välitä proxies= suoraan kutsussa, kun haluat varmistua siitä, kumpaa käytetään.
Virheet ja niiden tulkitseminen
ProxyErrorja407 Proxy Authentication Required: välityspalvelin vastaa, mutta URL-osoitteen kirjautumistiedot eivät vastaa tilausta. Katso 407-virheen ohjesivu- Salasanat, joissa on merkkejä
@,:tai/, rikkovat URL-osoitteen; koodaa ne ensin komennollaurllib.parse.quote(password, safe='') - Proxy-osoitteen vaihtaminen muotoon
https://katkaisee yleensä yhteyden; pidä kummassakin avaimessahttp://, ellei välityspalvelimesi portti ole nimenomaan TLS-portti ConnectTimeoutviittaa IP-osoitteeseen tai porttiin, ei käyttäjätietoihin; testaa saavutettavuus portintarkistimella
Sama malli httpx- ja aiohttp-kirjastoissa
Sama URL-muoto toimii myös niissä. Kirjastossa httpx luodaan httpx.Client(proxy='http://user:pass@ip:port'); kirjastossa aiohttp välitetään proxy= funktioon session.get(url, proxy=...). Laajemmat tiedonkeruut ajoituksineen ja uudelleenyrityksineen hoituvat yleensä helpommin Scrapy-kehyksellä.
Vaihe vaiheelta
- 1
Muodosta proxy-osoite
Kirjoita jokainen ProxyV4-palvelun
ip:port:user:pass-rivi muotoonhttp://user:pass@ip:port, tai muunna koko lista välityspalvelinten muotomuuntimella. - 2
Luo sanakirja
Kirjoita
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Liitä se Session-olioon
Luo
s = requests.Session()ja kutsus.proxies.update(proxies), jotta yhteydet pysyvät auki pyyntöjen välillä. - 4
Tulosta ulostulo-IP
Suorita
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); tulosteen IP-osoitteen pitäisi olla välityspalvelimen osoite.
Usein kysytyt kysymykset
Miksi 'https'-arvona on http://-osoite?
Protokolla kuvaa sitä, miten Python kommunikoi välityspalvelimen kanssa, ei yhteyttä verkkosivustoon. urllib3 yhdistää välityspalvelimeen tavallisen HTTP:n kautta, lähettää CONNECT-pyynnön ja muodostaa sen jälkeen TLS-yhteyden https://-sivustoon tuon tunnelin läpi, joten sivuston liikenne pysyy edelleen salattuna.
Miten jaan pyynnöt 25 staattiselle välityspalvelimelle?
Laita 25 URL-osoitetta listaan, luo pool = itertools.cycle(PROXIES), ota jokaiselle pyynnölle p = next(pool) ja välitä proxies={'http': p, 'https': p}. Pidä IP-kohtainen viive järkevänä, jotta mikään yksittäinen osoite ei kuormitu liikaa.
Laskutetaanko Python-skriptien tiedonsiirrosta käytön mukaan?
Ei. ProxyV4-palvelun dedikoidut IPv4- ja staattiset ISP-paketit sisältävät rajoittamattoman kaistan, joten pitkäkestoiset skriptit eivät törmää siirtorajoihin.
Lähteet
Staattinen IP-pooli Python-skripteille
Dedikoitu IPv4 7 maassa sekä staattinen ISP Yhdysvalloissa ja Vietnamissa. Osta yksittäinen IP tai useampi kerralla; kappalehinta laskee määrän kasvaessa.
Katso Yhdysvaltojen ajantasaiset hinnat