ProxyV4

Python requests kroz autentifikovani proxy, korak po korak

· Updated:

Da biste koristili proxy u Python requests biblioteci, proslijedite proxies rječnik čiji ključevi 'http' i 'https' pokazuju na http://user:pass@ip:port. Dodajte taj rječnik u requests.Session() i ista konekcija prema proxyju će se ponovo koristiti za svaki poziv, što je brže od otvaranja nove konekcije po zahtjevu. U nastavku: rječnik, sesija, greške na koje možete naići i provjera ProxyV4 izlaznog IP-a u jednoj liniji koda.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privatni IPv4 (datacenter)
🇺🇸 Sjedinjene Američke Države
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Sjedinjene Američke Države
Privatni IPv4 (datacenter)
🇻🇳 Vijetnam
Na stanju
Od
1,10 USD / IP / mjesečno
Popusti na količinu
  • 1 IP1,85 USD
  • 3+ IP-jeva1,70 USD
  • 10+ IP-jeva1,60 USD
  • 25+ IP-jeva1,50 USD
  • 50+ IP-jeva1,40 USD
  • 100+ IP-jeva1,30 USD
  • 200+ IP-jeva1,20 USD
  • 500+ IP-jeva1,10 USD
Kupi Vijetnam

Objašnjenje proxies rječnika

PostavkaVrijednostRazlog
Ključ 'http''http://user:pass@ip:port'Koristi se za obične http:// URL-ove
Ključ 'https''http://user:pass@ip:port'I dalje http:// proxy URL: urllib3 traži od proxyja CONNECT tunel i unutar njega pokreće TLS
timeouttimeout=(5, 15)5 s za povezivanje, 15 s za čitanje, kako nedostupna meta ne bi blokirala nit
Rotacijaitertools.cycle(proxy_list)Dodjeljuje vaše statičke IP adrese redom

Zašto je Session bolji od običnog requests.get()

Svaki pojedinačni requests.get() poziv na najvišem nivou kreira novi pool konekcija, pa se TCP veza sa proxyjem i TLS rukovanje sa sajtom ponavljaju svaki put. Session održava te konekcije aktivnim između poziva. Za skriptu koja preuzima stotine stranica preko jedne IP adrese, ta razlika je primjetna u ukupnom vremenu izvršavanja.

Postavite s.proxies.update(proxies) jednom i svaki s.get() i s.post() će ići kroz proxy. Važno je znati: ako su HTTP_PROXY ili HTTPS_PROXY postavljeni u sistemskom okruženju, requests ih može kombinovati sa postavkama sesije; proslijedite proxies= u samom pozivu kada želite biti sigurni koji se koristi.

Greške i kako ih tumačiti

  • ProxyError sa 407 Proxy Authentication Required: proxy je dostupan, ali podaci za prijavu u vašem URL-u ne odgovaraju narudžbi. Pogledajte stranicu o grešci 407
  • Lozinke koje sadrže @, : ili / kvare strukturu URL-a; prvo ih enkodirajte pomoću urllib.parse.quote(password, safe='')
  • Promjena proxy URL-a na https:// obično prekida vezu; zadržite http:// za oba ključa osim ako vaš proxy port nije izričito TLS port
  • ConnectTimeout ukazuje na problem sa IP adresom ili portom, a ne na pristupne podatke; testirajte dostupnost uz provjeru porta

Isti šablon u bibliotekama httpx i aiohttp

Format URL-a ostaje isti. U httpx, kreirajte httpx.Client(proxy='http://user:pass@ip:port'); u aiohttp, proslijedite proxy= u session.get(url, proxy=...). Veća prikupljanja podataka sa raspoređivanjem i ponovnim pokušajima obično su jednostavnija u Scrapy.

Korak po korak

  1. 1

    Kreirajte proxy URL

    Prepišite svaki ProxyV4 ip:port:user:pass red kao http://user:pass@ip:port, ili konvertujte čitavu listu pomoću konvertera proxy formata.

  2. 2

    Kreirajte rječnik

    Napišite proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Dodajte ga u Session

    Kreirajte s = requests.Session() i pozovite s.proxies.update(proxies) kako bi konekcije ostale aktivne između zahtjeva.

  4. 4

    Ispišite izlazni IP

    Pokrenite print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP adresa u ispisu treba biti adresa proxyja.

Često postavljana pitanja

Zašto je 'https' unos http:// URL?

Šema opisuje kako Python komunicira sa proxyjem, a ne sa web stranicom. urllib3 se povezuje sa proxyjem preko običnog HTTP-a, šalje CONNECT i zatim uspostavlja TLS sa https:// sajtom kroz taj tunel, tako da je saobraćaj prema stranici i dalje šifrovan.

Kako da rasporedim zahtjeve na 25 statičkih proxyja?

Stavite 25 URL-ova u listu, kreirajte pool = itertools.cycle(PROXIES), a za svaki zahtjev uzmite p = next(pool) i proslijedite proxies={'http': p, 'https': p}. Održavajte razuman vremenski razmak po IP adresi kako nijedna ne bi bila preopterećena.

Da li se saobraćaj iz Python skripti mjeri?

Ne. ProxyV4 privatni IPv4 i statički ISP paketi dolaze sa neograničenim protokom, tako da dugotrajne skripte ne nailaze na limit potrošnje podataka.

Izvori

Bazen statičkih IP adresa za Python skripte

Privatni IPv4 u 7 zemalja plus statički ISP u SAD-u i Vijetnamu. Kupite jednu IP adresu ili paket; cijena po IP adresi opada sa količinom.

Pogledajte trenutne cijene za SAD

Related articles

Proxyji po platformama
Proxyji za web scraping: fiksni pool IP-jeva s neograničenim prometom
Web scraping proxyji za Python, Scrapy, Playwright i Selenium: pool privatnih IPv4 i statičkih ISP adresa, neograničen protok, fiksna cijena po IP adresi.
Podešavanje proxyja
Playwright proxy autentifikacija, jedna statička IP adresa po kontekstu
Dodajte svakom Playwright kontekstu autentifikovani HTTP(S) proxy u Node.js ili Pythonu, uskladite zonu i lokalitet s IP-om te potvrdite izlaznu adresu.
Podešavanje proxyja
Scrapy proxyji: meta['proxy'], redoslijed middlewarea i rotacija
Koristite autentificirane HTTP(S) proxyje u Scrapyju: postavite request.meta['proxy'], poredajte middleware prije HttpProxyMiddleware (750) i rotirajte IP-ove.
Besplatni alati
Preuredite proxy listu u format koji vaš alat očekuje
Grupno konvertujte proxy liste u pregledniku između ip:port:user:pass, user:pass@ip:port, http:// URL-ova, SOCKS5 URI-ja, JSON nizova i FoxyProxy datoteka.
Proxyji po platformama
Proxyji za SEO praćenje pozicija: vidite stranicu rezultata baš kao lokalni korisnik
SEO proxyji za praćenje pozicija uz privatni IPv4 u SAD-u, UK-u, Vijetnamu, Japanu i još 4 tržišta, pa pozicije, lokalni paketi i oglasi odgovaraju lokalnim.
Proxyji po platformama
Amazon seller proxyji koji svakom nalogu daju trajnu adresu
Amazon seller proxyji za Seller Central, KDP i Merch: US statički ISP ili UK/Japan privatni IPv4 po nalogu, zakupljen samo vama i sačuvan pri obnovi.
IPV4 · united states
Pool privatnih IPv4 proxyja za SAD za scraping, praćenje pozicija i provjeru oglasa
Kupite privatne IPv4 proxyje za SAD: statički američki datacenter IP-jevi, jedan korisnik po IP-ju, neograničen protok. Za scraping, SERP i provjeru oglasa.
IPV4 · vietnam
Privatni IPv4 proxy za Vijetnam: Jedan fiksni IP po računu u velikim količinama
Privatni IPv4 proxyji za Vijetnam: statički datacenter IP-ovi, jedan kupac po IP-u, cijena na količinu. Za seeding profile, sporedne Shopee trgovine i alate.