Kimlik doğrulamalı proxy ile adım adım Python requests kullanımı
ProxyV4 Mühendislik Ekibi tarafından · Updated:
Python requests kütüphanesinde proxy kullanmak için, 'http' ve 'https' anahtarlarının her ikisi de http://user:pass@ip:port adresini gösteren bir proxies sözlüğü iletin. Bu sözlüğü bir requests.Session() nesnesine tanımladığınızda, proxy bağlantısı her çağrıda yeniden kullanılır; bu da istek başına yeni bağlantı açmaktan çok daha hızlıdır. Aşağıda: sözlük yapısı, session kullanımı, karşılaşabileceğiniz olası hatalar ve ProxyV4 çıkış IP'sini tek satırda kontrol etme yöntemi yer almaktadır.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
- 1 IP$1,85
- 3+ IP$1,70
- 10+ IP$1,60
- 25+ IP$1,50
- 50+ IP$1,40
- 100+ IP$1,30
- 200+ IP$1,20
- 500+ IP$1,10
proxies sözlüğü açıklaması
| Ayar | Değer | Neden |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Düz http:// URL'leri için kullanılır |
'https' key | 'http://user:pass@ip:port' | Yine bir http:// proxy URL'sidir: urllib3 proxy'den bir CONNECT tüneli ister ve TLS'i bu tünel içinde çalıştırır |
timeout | timeout=(5, 15) | Bağlantı için 5 sn, okuma için 15 sn; böylece yanıt vermeyen bir hedef iş parçacığını kilitleyemez |
| Rotation | itertools.cycle(proxy_list) | Statik IP'lerinizi sırayla dağıtır |
Session neden doğrudan requests.get() kullanımından daha iyidir?
En üst düzey her requests.get() çağrısı yeni bir bağlantı havuzu oluşturur; bu nedenle proxy ile TCP bağlantısı ve site ile TLS el sıkışması her seferinde tekrarlanır. Bir Session, çağrılar arasında bu bağlantıları canlı tutar. Tek bir IP üzerinden yüzlerce sayfa çeken bir betik için bu fark, toplam çalışma süresinde açıkça görülür.
s.proxies.update(proxies) ayarını bir kez tanımladığınızda tüm s.get() ve s.post() istekleri proxy üzerinden geçer. Bilinmesi gereken bir nokta: ortam değişkenlerinde HTTP_PROXY veya HTTPS_PROXY tanımlıysa requests bunları session ayarlarıyla birleştirebilir; hangisinin kullanıldığından kesin olarak emin olmak istediğinizde doğrudan çağrının kendisine proxies= parametresini iletin.
Hatalar ve anlamları
407 Proxy Authentication RequirediçerenProxyError: Proxy'ye erişilebiliyor ancak URL'nizdeki giriş bilgileri siparişle eşleşmiyor. 407 hata sayfasına bakın@,:veya/içeren parolalar URL yapısını bozar; bunları öncelikleurllib.parse.quote(password, safe='')ile kodlayın- Proxy URL'sini
https://olarak değiştirmek genellikle bağlantıyı keser; proxy portunuz özellikle bir TLS portu olmadığı sürece her iki anahtar için dehttp://kullanmaya devam edin ConnectTimeoutkimlik bilgilerini değil, IP veya portu işaret eder; erişilebilirliği port denetleyicisi ile test edin
httpx ve aiohttp kütüphanelerinde aynı yapı
URL formatı burada da aynı şekilde geçerlidir. httpx içinde httpx.Client(proxy='http://user:pass@ip:port') oluşturun; aiohttp içinde ise session.get(url, proxy=...) çağrısına proxy= parametresini geçirin. Zamanlama ve yeniden deneme içeren daha büyük tarama işlemleri genellikle Scrapy ile daha kolaydır.
Adım adım
- 1
Proxy URL'sini oluşturun
Her bir ProxyV4
ip:port:user:passsatırınıhttp://user:pass@ip:portolarak yeniden yazın veya tüm listeyi proxy format dönüştürücü ile dönüştürün. - 2
Sözlüğü oluşturun
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}şeklinde tanımlayın. - 3
Bunu bir Session'a bağlayın
İstekler arasında bağlantıların canlı tutulması için
s = requests.Session()oluşturun ves.proxies.update(proxies)fonksiyonunu çağırın. - 4
Çıkış IP'sini yazdırın
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())komutunu çalıştırın; çıktıdaki IP proxy'ye ait olmalıdır.
Sıkça sorulan sorular
'https' girdisi neden bir http:// URL'sidir?
Şema, Python'ın web sitesiyle değil, proxy ile nasıl iletişim kurduğunu belirtir. urllib3, proxy'ye düz HTTP üzerinden bağlanır, CONNECT komutunu iletir ve ardından bu tünel üzerinden https:// sitesiyle TLS bağlantısı kurar; böylece sayfa trafiği şifreli kalmaya devam eder.
İstekleri 25 statik proxy'ye nasıl dağıtırım?
25 URL'yi bir listeye koyun, pool = itertools.cycle(PROXIES) oluşturun ve her istek için p = next(pool) alıp proxies={'http': p, 'https': p} olarak iletin. Tek bir adrese aşırı yük binmemesi için IP başına makul bir gecikme süresi bırakın.
Python betiklerinden gelen trafik kotalı mı?
Hayır. ProxyV4 özel IPv4 ve statik ISP planları sınırsız bant genişliğiyle sunulur; bu sayede uzun süre çalışan betikler veri sınırına takılmaz.
Kaynaklar
Python betikleri için statik IP havuzu
7 ülkede özel IPv4 ile ABD ve Vietnam'da statik ISP. Tek bir IP veya toplu satın alın; adet arttıkça IP başına fiyat düşer.
Güncel ABD fiyatlarını inceleyin