ProxyV4

Python requests todennetun välityspalvelimen kautta vaiheittain

· Updated:

Jos haluat käyttää välityspalvelinta Pythonin requests-kirjastossa, määritä proxies-sanakirja, jonka 'http'- ja 'https'-avaimet osoittavat kumpikin osoitteeseen http://user:pass@ip:port. Kun liität sanakirjan requests.Session()-olioon, sama yhteys välityspalvelimeen käytetään uudelleen jokaiseen kutsuun, mikä on nopeampaa kuin uuden avaaminen jokaiselle pyynnölle. Alla käydään läpi sanakirja, istunto, yleisimmät virheet sekä yhden rivin tarkistus ProxyV4-palvelimen ulospäin näkyvälle IP-osoitteelle.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Yksityinen IPv4 (konesali)
🇺🇸 Yhdysvallat
Varastossa
Alkaen
1,10 $ / IP / kk
Määräalennukset
  • 1 IP1,85 $
  • 3+ IP:tä1,70 $
  • 10+ IP:tä1,60 $
  • 25+ IP:tä1,50 $
  • 50+ IP:tä1,40 $
  • 100+ IP:tä1,30 $
  • 200+ IP:tä1,20 $
  • 500+ IP:tä1,10 $
Osta Yhdysvallat
Yksityinen IPv4 (konesali)
🇻🇳 Vietnam
Varastossa
Alkaen
1,10 $ / IP / kk
Määräalennukset
  • 1 IP1,85 $
  • 3+ IP:tä1,70 $
  • 10+ IP:tä1,60 $
  • 25+ IP:tä1,50 $
  • 50+ IP:tä1,40 $
  • 100+ IP:tä1,30 $
  • 200+ IP:tä1,20 $
  • 500+ IP:tä1,10 $
Osta Vietnam

Miten proxies-sanakirja toimii

AsetusArvoPeruste
Avain 'http''http://user:pass@ip:port'Käytetään tavallisille http://-osoitteille
Avain 'https''http://user:pass@ip:port'Edelleen http://-proxyosoite: urllib3 pyytää välityspalvelimelta CONNECT-tunnelin ja suorittaa TLS-salauksen sen sisällä
timeouttimeout=(5, 15)5 s yhdistämiseen ja 15 s vastaamiseen, jotta vastaamaton kohde ei jäädytä säiettä
Kierrätysitertools.cycle(proxy_list)Jakaa staattisia IP-osoitteitasi vuorotellen

Miksi Session on parempi kuin pelkkä requests.get()

Jokainen yksittäinen requests.get()-kutsu muodostaa uuden yhteysvarannon, jolloin TCP-yhteys välityspalvelimeen ja TLS-kättely sivuston kanssa toistetaan joka kerta. Session pitää nämä yhteydet auki kutsujen välillä. Jos skripti hakee satoja sivuja saman IP-osoitteen kautta, ero näkyy selvästi kokonaisajassa.

Määritä s.proxies.update(proxies) kerran, ja jokainen s.get() ja s.post() kulkee välityspalvelimen kautta. Huomioitava asia: jos ympäristömuuttujat HTTP_PROXY tai HTTPS_PROXY on asetettu, requests saattaa yhdistää ne istunnon asetuksiin. Välitä proxies= suoraan kutsussa, kun haluat varmistua siitä, kumpaa käytetään.

Virheet ja niiden tulkitseminen

  • ProxyError ja 407 Proxy Authentication Required: välityspalvelin vastaa, mutta URL-osoitteen kirjautumistiedot eivät vastaa tilausta. Katso 407-virheen ohjesivu
  • Salasanat, joissa on merkkejä @, : tai /, rikkovat URL-osoitteen; koodaa ne ensin komennolla urllib.parse.quote(password, safe='')
  • Proxy-osoitteen vaihtaminen muotoon https:// katkaisee yleensä yhteyden; pidä kummassakin avaimessa http://, ellei välityspalvelimesi portti ole nimenomaan TLS-portti
  • ConnectTimeout viittaa IP-osoitteeseen tai porttiin, ei käyttäjätietoihin; testaa saavutettavuus portintarkistimella

Sama malli httpx- ja aiohttp-kirjastoissa

Sama URL-muoto toimii myös niissä. Kirjastossa httpx luodaan httpx.Client(proxy='http://user:pass@ip:port'); kirjastossa aiohttp välitetään proxy= funktioon session.get(url, proxy=...). Laajemmat tiedonkeruut ajoituksineen ja uudelleenyrityksineen hoituvat yleensä helpommin Scrapy-kehyksellä.

Vaihe vaiheelta

  1. 1

    Muodosta proxy-osoite

    Kirjoita jokainen ProxyV4-palvelun ip:port:user:pass-rivi muotoon http://user:pass@ip:port, tai muunna koko lista välityspalvelinten muotomuuntimella.

  2. 2

    Luo sanakirja

    Kirjoita proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Liitä se Session-olioon

    Luo s = requests.Session() ja kutsu s.proxies.update(proxies), jotta yhteydet pysyvät auki pyyntöjen välillä.

  4. 4

    Tulosta ulostulo-IP

    Suorita print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); tulosteen IP-osoitteen pitäisi olla välityspalvelimen osoite.

Usein kysytyt kysymykset

Miksi 'https'-arvona on http://-osoite?

Protokolla kuvaa sitä, miten Python kommunikoi välityspalvelimen kanssa, ei yhteyttä verkkosivustoon. urllib3 yhdistää välityspalvelimeen tavallisen HTTP:n kautta, lähettää CONNECT-pyynnön ja muodostaa sen jälkeen TLS-yhteyden https://-sivustoon tuon tunnelin läpi, joten sivuston liikenne pysyy edelleen salattuna.

Miten jaan pyynnöt 25 staattiselle välityspalvelimelle?

Laita 25 URL-osoitetta listaan, luo pool = itertools.cycle(PROXIES), ota jokaiselle pyynnölle p = next(pool) ja välitä proxies={'http': p, 'https': p}. Pidä IP-kohtainen viive järkevänä, jotta mikään yksittäinen osoite ei kuormitu liikaa.

Laskutetaanko Python-skriptien tiedonsiirrosta käytön mukaan?

Ei. ProxyV4-palvelun dedikoidut IPv4- ja staattiset ISP-paketit sisältävät rajoittamattoman kaistan, joten pitkäkestoiset skriptit eivät törmää siirtorajoihin.

Lähteet

Staattinen IP-pooli Python-skripteille

Dedikoitu IPv4 7 maassa sekä staattinen ISP Yhdysvalloissa ja Vietnamissa. Osta yksittäinen IP tai useampi kerralla; kappalehinta laskee määrän kasvaessa.

Katso Yhdysvaltojen ajantasaiset hinnat

Related articles

Proxyt alustoittain
Proxyt web scrapingiin: kiinteä IP-pooli rajoittamattomalla liikenteellä
Web scraping -proxyt Pythonille, Scrapylle, Playwrightille ja Seleniumille: yksityisiä IPv4- ja staattisia ISP-osoitteita, rajaton kaista, kiinteä IP-hinta.
Proxyn käyttöönotto
Playwright-välityspalvelimen todennus, yksi staattinen IP per konteksti
Anna Playwright-selainkonteksteille oma todennettu HTTP(S)-välityspalvelin Node.js:ssä tai Pythonissa, sovita aikavyöhyke ja lokaali sekä vahvista lähtöosoite.
Proxyn käyttöönotto
Scrapy-välityspalvelimet: meta['proxy'], väliohjelmistojen järjestys ja kierto
Käytä todennettuja HTTP(S)-proxyja Scrapyssa: aseta request.meta['proxy'], aja väliohjelmisto ennen HttpProxyMiddlewarea (750), kierrätä IP:t ja tahdita haku.
Ilmaiset työkalut
Muunna proxylista työkalusi vaatimaan muotoon
Muunna proxylistoja selaimessasi massana: ip:port:user:pass, user:pass@ip:port, http://-URL-osoitteet, SOCKS5-URIt, JSON-taulukot ja FoxyProxy-tuontitiedostot.
Proxyt alustoittain
Välityspalvelimet SEO-sijoitusseurantaan: näe paikallisen hakijan tulossivu
SEO-välityspalvelimet ja oma IPv4 USA:ssa, UK:ssa, Vietnamissa, Japanissa ja 4 muussa maassa. Näe sijoitukset, paikallispaketit ja mainokset kuten paikalliset.
Proxyt alustoittain
Amazon-myyjäproxyt, jotka antavat jokaiselle tilille pysyvän osoitteen
Amazon-myyjäproxyt Seller Centraliin, KDP:hen ja Merchiin: staattinen USA-ISP tai UK:n/Japanin yksityinen IPv4 tiliä kohden vain sinulle, säilyy uusittaessa.
IPV4 · united states
Yksityinen Yhdysvaltain IPv4-välityspalvelinpooli tiedonkeruuseen, sijoitusseurantaan ja mainosten tarkistukseen
Osta yksityiset USA IPv4 -proxyt: staattiset konesali-IP:t, yksi asiakas per IP, rajaton kaista. Tehty tiedonkeruuseen, SERP-seurantaan ja mainostarkistuksiin.
IPV4 · vietnam
Yksityinen Vietnamin IPv4-välityspalvelin: yksi kiinteä IP tiliä kohden suuressa mittakaavassa
Yksityiset Vietnam-IPv4-proxyt: staattiset konesali-IP:t yhdelle asiakkaalle määräalennuksin. Seeding-profiileille, Shopee-sivukaupoille ja työkaluille.