ProxyV4

Python requests kroz autentificirani proxy, korak po korak

· Updated:

Za korištenje proxyja u Python requests biblioteci, proslijedite proxies rječnik čiji ključevi 'http' i 'https' pokazuju na http://user:pass@ip:port. Postavite taj rječnik na requests.Session() i ista veza s proxyjem ponovno se koristi za svaki poziv, što je brže od otvaranja nove veze po zahtjevu. U nastavku: rječnik, sesija, pogreške na koje možete naići i provjera izlaznog ProxyV4 IP-a u jednom retku.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privatni IPv4 (podatkovni centar)
🇺🇸 Sjedinjene Američke Države
Dostupno
Od
1,10 USD / IP / mjesečno
Količinski popusti
  • 1 IP1,85 USD
  • 3+ IP-ova1,70 USD
  • 10+ IP-ova1,60 USD
  • 25+ IP-ova1,50 USD
  • 50+ IP-ova1,40 USD
  • 100+ IP-ova1,30 USD
  • 200+ IP-ova1,20 USD
  • 500+ IP-ova1,10 USD
Kupi Sjedinjene Američke Države
Privatni IPv4 (podatkovni centar)
🇻🇳 Vijetnam
Dostupno
Od
1,10 USD / IP / mjesečno
Količinski popusti
  • 1 IP1,85 USD
  • 3+ IP-ova1,70 USD
  • 10+ IP-ova1,60 USD
  • 25+ IP-ova1,50 USD
  • 50+ IP-ova1,40 USD
  • 100+ IP-ova1,30 USD
  • 200+ IP-ova1,20 USD
  • 500+ IP-ova1,10 USD
Kupi Vijetnam

Objašnjenje rječnika proxies

PostavkaVrijednostRazlog
Ključ 'http''http://user:pass@ip:port'Koristi se za obične http:// URL-ove
Ključ 'https''http://user:pass@ip:port'I dalje http:// proxy URL: urllib3 traži CONNECT tunel od proxyja i unutar njega pokreće TLS
timeouttimeout=(5, 15)5 s za povezivanje, 15 s za čitanje, kako nedostupno odredište ne bi blokiralo dretvu
Rotacijaitertools.cycle(proxy_list)Isporučuje vaše statičke IP adrese redom

Zašto je Session bolji od običnog requests.get()

Svaki poziv najviše razine requests.get() stvara novi skup veza, pa se TCP veza s proxyjem i TLS rukovanje s web-stranicom ponavljaju svaki put. Session održava te veze aktivnima između poziva. Za skriptu koja dohvaća stotine stranica putem jednog IP-a, ta je razlika vidljiva u ukupnom vremenu izvođenja.

Postavite s.proxies.update(proxies) jednom i svaki s.get() te s.post() ide kroz proxy. Važno je znati: ako su u okruženju postavljene varijable HTTP_PROXY ili HTTPS_PROXY, requests ih može kombinirati s postavkama sesije; proslijedite proxies= u samom pozivu kada želite biti sigurni koji se koristi.

Pogreške i kako ih protumačiti

  • ProxyError uz 407 Proxy Authentication Required: proxy je dostupan, ali podaci za prijavu u vašem URL-u ne odgovaraju narudžbi. Pogledajte stranicu o pogrešci 407
  • Lozinke koje sadrže @, : ili / kvare URL; prvo ih kodirajte pomoću urllib.parse.quote(password, safe='')
  • Promjena proxy URL-a u https:// obično prekida vezu; zadržite http:// za oba ključa osim ako vaš proxy priključak nije izričito TLS priključak
  • ConnectTimeout upućuje na IP ili priključak, a ne na vjerodajnice; testirajte dostupnost pomoću alata za provjeru priključaka

Isti obrazac u httpx i aiohttp

Format URL-a ostaje isti. U httpx, stvorite httpx.Client(proxy='http://user:pass@ip:port'); u aiohttp, proslijedite proxy= u session.get(url, proxy=...). Veća prikupljanja podataka s raspoređivanjem i ponovnim pokušajima obično su jednostavnija u Scrapy.

Korak po korak

  1. 1

    Sastavite proxy URL

    Preoblikujte svaki ProxyV4 ip:port:user:pass redak u http://user:pass@ip:port ili pretvorite cijeli popis pomoću alata za konverziju proxy formata.

  2. 2

    Izradite rječnik

    Upišite proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Dodajte ga u Session

    Stvorite s = requests.Session() i pozovite s.proxies.update(proxies) kako bi veze ostale aktivne između zahtjeva.

  4. 4

    Ispišite izlazni IP

    Pokrenite print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP u izlazu trebao bi biti proxyjev.

Često postavljana pitanja

Zašto je 'https' unos http:// URL?

Shema opisuje kako Python komunicira s proxyjem, a ne s web-stranicom. urllib3 se povezuje na proxy putem običnog HTTP-a, šalje CONNECT i zatim uspostavlja TLS s https:// stranicom kroz taj tunel, pa je promet prema stranici i dalje šifriran.

Kako raspodijeliti zahtjeve na 25 statičkih proxyja?

Stavite 25 URL-ova na popis, izradite pool = itertools.cycle(PROXIES), a za svaki zahtjev uzmite p = next(pool) i proslijedite proxies={'http': p, 'https': p}. Održavajte razumnu odgodu po IP-u kako se nijedna adresa ne bi preopteretila.

Mjeri li se promet iz Python skripti?

Ne. ProxyV4 privatni IPv4 i statički ISP paketi dolaze s neograničenim prometom, pa dugotrajne skripte ne nailaze na ograničenje podataka.

Izvori

Bazen statičkih IP adresa za Python skripte

Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu. Kupite pojedinačni IP ili paket; cijena po IP-u pada s količinom.

Provjerite cijene za SAD uživo

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni bazen IP adresa s neograničenim prometom
Proxyji za web scraping za Python, Scrapy, Playwright i Selenium: bazen privatnih IPv4 i statičkih ISP adresa, neograničen promet i fiksne cijene po IP-ju.
Postavljanje proxyja
Autentifikacija Playwright proxyja: jedan statički IP po kontekstu
Postavite autentificirani HTTP(S) proxy za svaki Playwright kontekst u Node.js-u ili Pythonu, uskladite zonu i jezik s IP-om te provjerite izlaznu adresu.
Postavljanje proxyja
Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija
Koristite autentificirane HTTP(S) proxyje u Scrapyju: postavite request.meta['proxy'], poredajte middleware prije HttpProxyMiddleware (750) i rotirajte IP-ove.
Besplatni alati
Prilagodite popis proxyja formatu koji vaš alat očekuje
Pretvorite proxy popise u pregledniku između ip:port:user:pass, user:pass@ip:port, http:// URL-ova, SOCKS5 URI-ja, JSON polja i FoxyProxy datoteka, skupno.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: pogledajte stranicu rezultata kakvu vidi lokalni korisnik
SEO proxyji s privatnim IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta: pozicije, lokalni paketi i oglasi točno odgovaraju onome što vide lokalci.
Proxyji po platformama
Amazon seller proxyji koji svakom računu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: statički ISP u SAD-u ili privatni IPv4 u UK-u/Japanu po računu, dodijeljen samo vama i trajan uz obnovu.
IPV4 · united states
Bazen privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje u SAD-u: statički američki datacenter IP-ovi, jedan korisnik po IP-u, neograničen promet. Za scraping, SERP i provjeru oglasa.
IPV4 · vietnam
Privatni IPv4 proxy za Vijetnam: Jedan fiksni IP po računu u velikim količinama
Privatni IPv4 proxyji za Vijetnam: statički datacenter IP-jevi za jednog korisnika, uz količinski popust. Za seeding profile, sporedne Shopee trgovine i alate.