Autentifikasiyalı proksi ilə addım-addım Python requests
ProxyV4 Mühəndislik Komandası tərəfindən · Updated:
Python requests kitabxanasında proksi istifadə etmək üçün həm 'http', həm də 'https' açarları http://user:pass@ip:port ünvanına yönələn proxies lüğətini ötürün. Həmin lüğəti requests.Session() obyektinə təyin edin və proksi ilə eyni bağlantı hər çağırış üçün yenidən istifadə olunsun; bu, hər sorğu üçün yenisini açmaqdan daha sürətlidir. Aşağıda: lüğət, sessiya, qarşılaşa biləcəyiniz xətalar və ProxyV4 çıxış IP-sinin bir sətirlik yoxlanışı.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
proxies lüğətinin izahı
| Parametr | Dəyər | Səbəb |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Adi http:// URL-ləri üçün istifadə olunur |
'https' key | 'http://user:pass@ip:port' | Yenə də http:// proksi URL-idir: urllib3 proksidən CONNECT tuneli istəyir və TLS-i onun daxilində işə salır |
timeout | timeout=(5, 15) | Bağlantı üçün 5 saniyə, oxuma üçün 15 saniyə, beləliklə işləməyən hədəf icra axınını dondura bilməz |
| Rotation | itertools.cycle(proxy_list) | Statik IP-lərinizi növbə ilə paylayır |
Session nə üçün sadə requests.get() çağırışından üstündür
Hər bir birbaşa requests.get() çağırışı yeni bağlantı hovuzu yaradır, buna görə də proksi ilə TCP bağlantısı və saytla TLS əl sıxması hər dəfə təkrarlanır. Session isə çağırışlar arasında həmin bağlantıları aktiv saxlayır. Bir IP üzərindən yüzlərlə səhifə çəkən skript üçün bu fərq ümumi icra vaxtında aydın görünür.
Bir dəfə s.proxies.update(proxies) təyin edin və hər bir s.get() ilə s.post() proksidən keçsin. Nəzərə alınmalı bir məqam: mühitdə HTTP_PROXY və ya HTTPS_PROXY təyin edilibsə, requests onları sessiyanın parametrləri ilə birləşdirə bilər; hansının istifadə edildiyinə tam əmin olmaq lazım gəldikdə, çağırışın özündə proxies= ötürün.
Xətalar və onları necə anlamaq olar
407 Proxy Authentication RequirediləProxyError: proksi əlçatandır, lakin URL-inizdəki giriş məlumatları sifarişlə uyğun gəlmir. 407 error page səhifəsinə baxın- Tərkibində
@,:və ya/olan parollar URL-i pozur; onları əvvəlcəurllib.parse.quote(password, safe='')ilə kodlaşdırın - Proksi URL-ini
https://olaraq dəyişmək adətən bağlantını pozur; proksi portunuz xüsusi olaraq TLS portu deyilsə, hər iki açar üçünhttp://saxlayın ConnectTimeoutgiriş məlumatlarına deyil, IP və ya porta işarə edir; əlçatanlığı port checker ilə yoxlayın
httpx və aiohttp-də eyni yanaşma
URL formatı burada da eynidir. httpx-də httpx.Client(proxy='http://user:pass@ip:port') yaradın; aiohttp-də isə session.get(url, proxy=...) çağırışına proxy= ötürün. Planlaşdırma və təkrar cəhdləri olan daha böyük kroulinq işləri adətən Scrapy ilə daha asandır.
Addım-addım
- 1
Proksi URL-ini qurun
Hər bir ProxyV4
ip:port:user:passsətrinihttp://user:pass@ip:portşəklində yenidən yazın və ya bütün siyahını proxy format converter ilə çevirin. - 2
Lüğəti yaradın
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}yazın. - 3
Onu Session-a qoşun
s = requests.Session()yaradın vəs.proxies.update(proxies)çağırın ki, sorğular arasında bağlantılar aktiv saxlanılsın. - 4
Çıxış IP-sini çap edin
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())əmrini işə salın; nəticədəki IP proksinin IP-si olmalıdır.
Tez-tez verilən suallar
'https' qeydi nə üçün http:// URL-idir?
Sxem Python-un veb-saytla deyil, məhz proksi ilə necə əlaqə saxladığını təsvir edir. urllib3 proksiyə adi HTTP üzərindən qoşulur, CONNECT göndərir və həmin tunel vasitəsilə https:// saytı ilə TLS icra edir, beləliklə səhifə trafiki şifrələnmiş qalır.
Sorğuları 25 statik proksi arasında necə bölüşdürüm?
25 URL-i siyahıya yerləşdirin, pool = itertools.cycle(PROXIES) yaradın və hər sorğu üçün p = next(pool) götürərək proxies={'http': p, 'https': p} ötürün. Hər bir IP üçün ağlabatan gecikmə saxlayın ki, heç bir tək ünvan həddindən artıq yüklənməsin.
Python skriptlərindən gələn trafik hesablanırmı?
Xeyr. ProxyV4 fərdi IPv4 və statik ISP planları limitsiz bant genişliyi ilə təmin edilir, buna görə də uzunmüddətli işləyən skriptlər data limiti ilə qarşılaşmır.
Mənbələr
Python skriptləri üçün statik IP hovuzu
7 ölkədə fərdi IPv4, həmçinin ABŞ və Vyetnamda statik ISP. Tək bir IP və ya paket şəklində alın; say artdıqca hər IP-nin qiyməti düşür.
Canlı ABŞ qiymətlərini yoxlayın