ProxyV4

Python requests läbi audenditud proksi, samm-sammult

· Updated:

Proksi kasutamiseks Python requests teegis anna kaasa proxies sõnastik, mille võtmed 'http' ja 'https' viitavad mõlemad aadressile http://user:pass@ip:port. Määra see sõnastik objektile requests.Session() ning sama ühendust proksiga taaskasutatakse iga päringu jaoks, mis on kiirem kui iga päringu puhul uue avamine. Allpool: sõnastik, sessioon, vead, millega võid kokku puutuda, ja üherealine käsk teenuse ProxyV4 väljuva IP kontrollimiseks.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Privaatne IPv4 (andmekeskus)
🇺🇸 Ameerika Ühendriigid
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Ameerika Ühendriigid
Privaatne IPv4 (andmekeskus)
🇻🇳 Vietnam
Laos olemas
Alates
1,10 $ / IP / kuu
Kogusesoodustused
  • 1 IP1,85 $
  • 3+ IP-d1,70 $
  • 10+ IP-d1,60 $
  • 25+ IP-d1,50 $
  • 50+ IP-d1,40 $
  • 100+ IP-d1,30 $
  • 200+ IP-d1,20 $
  • 500+ IP-d1,10 $
Osta Vietnam

Sõnastik proxies, selgitatud

SeadistusVäärtusPõhjus
'http' võti'http://user:pass@ip:port'Kasutatakse tavaliste http:// URL-ide jaoks
'https' võti'http://user:pass@ip:port'Ikka http:// proksi URL: urllib3 küsib proksilt CONNECT-tunnelit ja käitab selle sees TLS-i
timeouttimeout=(5, 15)5 s ühendumiseks, 15 s lugemiseks, et mittetöötav sihtmärk ei saaks lõime külmutada
Roteerimineitertools.cycle(proxy_list)Jagab sinu staatilisi IP-sid kordamööda

Miks Session on parem kui tavaline requests.get()

Iga tipptaseme requests.get() kutse loob uue ühenduste kogumi, mistõttu korratakse iga kord TCP-ühendust proksiga ja TLS-kätlust veebisaidiga. Session hoiab need ühendused päringute vahel elus. Skripti puhul, mis laadib ühe IP kaudu alla sadu lehti, on see erinevus kogu käitusajas märgatav.

Määra s.proxies.update(proxies) üks kord ning iga s.get() ja s.post() liigub läbi proksi. Üks asi, mida teada: kui keskkonnamuutujad HTTP_PROXY või HTTPS_PROXY on määratud, võib requests need sessiooni seadistustega kombineerida; anna proxies= kaasa otse väljakutsel, kui pead olema kindel, kumba kasutatakse.

Vead ja kuidas neid lugeda

  • ProxyError koos veaga 407 Proxy Authentication Required: proksi on kättesaadav, kuid sinu URL-is olevad sisselogimisandmed ei vasta tellimusele. Vaata 407 vealehte
  • Paroolid, mis sisaldavad sümboleid @, : või /, rikuvad URL-i; kodeeri need esmalt funktsiooniga urllib.parse.quote(password, safe='')
  • Proksi URL-i muutmine https:// peale tavaliselt katkestab ühenduse; jäta mõlema võtme jaoks http://, välja arvatud juhul, kui sinu proksi port on spetsiaalselt TLS-port
  • ConnectTimeout viitab IP-le või pordile, mitte mandaadile; testi kättesaadavust pordi kontrollijaga

Sama muster teekides httpx ja aiohttp

URL-i vorming kandub üle. Teegis httpx loo httpx.Client(proxy='http://user:pass@ip:port'); teegis aiohttp anna proxy= väärtuseks session.get(url, proxy=...). Suuremate kraapimistööde tegemine koos ajastamise ja korduskatsetega on tavaliselt lihtsam raamistikus Scrapy.

Samm-sammult

  1. 1

    Loo proksi URL

    Kirjuta iga ProxyV4 rida ip:port:user:pass ümber kujule http://user:pass@ip:port või teisenda terve loend proksi vormingu teisendajaga.

  2. 2

    Loo sõnastik

    Kirjuta proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Seo see Sessioniga

    Loo s = requests.Session() ja kutsu välja s.proxies.update(proxies), et ühendused püsiksid päringute vahel elus.

  4. 4

    Prindi väljuv IP

    Käivita print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); väljundis olev IP peaks olema proksi oma.

Korduma kippuvad küsimused

Miks on 'https' kirje http:// URL?

Skeem kirjeldab, kuidas Python suhtleb proksiga, mitte veebisaidiga. urllib3 ühendub proksiga üle tavalise HTTP, saadab CONNECT ja teeb seejärel läbi selle tunneli https:// saidiga TLS-ühenduse, seega on lehe liiklus endiselt krüpteeritud.

Kuidas jaotada päringuid 25 staatilise proksi vahel?

Pane 25 URL-i loendisse, loo pool = itertools.cycle(PROXIES) ning iga päringu jaoks võta p = next(pool) ja anna kaasa proxies={'http': p, 'https': p}. Jäta IP kohta mõistlik viivitus, et ühtegi aadressi üle ei koormataks.

Kas Pythoni skriptide liiklust mõõdetakse mahupõhiselt?

Ei. Teenuse ProxyV4 privaatsed IPv4 ja staatilised ISP paketid sisaldavad piiramatut ribalaiust, seega pikaajalised skriptid ei põrku andmemahu piiranguga.

Allikad

Staatiliste IP-de kogum Pythoni skriptidele

Privaatne IPv4 7 riigis ning staatiline ISP USAs ja Vietnamis. Osta üksik IP või partii; hind ühe IP kohta langeb kogusega.

Vaata USA reaalajas hindu

Related articles

Proksid platvormide kaupa
Proksid veebikraapimiseks: fikseeritud IP-kogum piiramatu liiklusega
Veebikraapimise proksid Pythoni, Scrapy, Playwrighti ja Seleniumi jaoks: privaatne IPv4 ja staatiline ISP, piiramatu andmemaht, kindel IP-põhine hind.
Proksi seadistamine
Playwrighti proksi autentimine: üks staatiline IP konteksti kohta
Määrake igale Playwrighti kontekstile oma autentitud HTTP(S)-proksi Node.js-is või Pythonis, sobitage ajavöönd ja lokaat IP-ga ning kontrollige välisaadressi.
Proksi seadistamine
Scrapy proksid: meta['proxy'], vahevara järjekord ja rotatsioon
Kasuta Scrapys autenditud HTTP(S)-proksisid: määra request.meta['proxy'], sea vahevara enne HttpProxyMiddleware'i (750), roteeri IP-sid ja juhi roomamistempot.
Tasuta tööriistad
Teisenda proksiloend formaati, mida su tööriist eeldab
Teisenda brauseris proksiloendeid: ip:port:user:pass, user:pass@ip:port, http:// URL-id, SOCKS5 URI-d, JSON-massiivid ja FoxyProxy importfailid hulgina.
Proksid platvormide kaupa
Proksid SEO positsioonide jälgimiseks: näe tulemuste lehte kohaliku otsija pilgu läbi
Privaatse IPv4-ga SEO proksid USA-s, Suurbritannias, Vietnamis, Jaapanis ja 4 muul turul: tulemused, kohalikud pakid ja reklaamid vastavad kohalike vaatele.
Proksid platvormide kaupa
Amazoni müüja proksid, mis tagavad igale kontole püsiva aadressi
Amazoni müüja proksid Seller Centrali, KDP ja Merchi jaoks: USA staatiline ISP või UK/Jaapani privaatne IPv4 konto kohta, ainult teile ja püsiv pikendamisel.
IPV4 · united states
USA privaatne IPv4 proksikogum andmekorjeks, positsioonide jälgimiseks ja reklaamide kontrolliks
Osta USA privaatseid IPv4 proksisid: staatilised USA andmekeskuse IP-d, üks klient IP kohta, piiramatu liiklus. Kraapimiseks, SERP-i ja reklaamide kontrolliks.
IPV4 · vietnam
Vietnami privaatne IPv4 proksi: üks fikseeritud IP konto kohta suures mahus
Vietnami privaatsed IPv4 proksid: staatilised andmekeskuse IP-d igale kliendile, soodne hulgihind. Seeding-profiilidele, Shopee lisapoodidele ja tööriistadele.