Autentifikatsiyali proksi orqali Python requests, bosqichma-bosqich
ProxyV4 muhandislar jamoasi tomonidan tayyorlandi · Updated:
Python requests kutubxonasida proksidan foydalanish uchun 'http' va 'https' kalitlari http://user:pass@ip:port manziliga yo‘naltirilgan proxies lug‘atini uzating. Ushbu lug‘atni requests.Session() obyektiga biriktirsangiz, proksi bilan bitta ulanish har bir so‘rov uchun qayta ishlatiladi, bu har bir so‘rovda yangisini ochishdan ancha tezroq. Quyida: lug‘at, sessiya, uchrashi mumkin bo‘lgan xatolar va ProxyV4 chiqish IP manzilini bir qatorda tekshirish ko‘rsatilgan.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 ta IP1,85 US$
- 3+ ta IP1,70 US$
- 10+ ta IP1,60 US$
- 25+ ta IP1,50 US$
- 50+ ta IP1,40 US$
- 100+ ta IP1,30 US$
- 200+ ta IP1,20 US$
- 500+ ta IP1,10 US$
- 1 ta IP1,85 US$
- 3+ ta IP1,70 US$
- 10+ ta IP1,60 US$
- 25+ ta IP1,50 US$
- 50+ ta IP1,40 US$
- 100+ ta IP1,30 US$
- 200+ ta IP1,20 US$
- 500+ ta IP1,10 US$
proxies lug‘ati haqida tushuntirish
| Sozlama | Qiymat | Sabab |
|---|---|---|
'http' kaliti | 'http://user:pass@ip:port' | Oddiy http:// URL manzillari uchun ishlatiladi |
'https' kaliti | 'http://user:pass@ip:port' | Baribir http:// proksi URL manzili: urllib3 proksidan CONNECT tunnelini so‘raydi va uning ichida TLS ishga tushiradi |
timeout | timeout=(5, 15) | Ulanish uchun 5 soniya, o‘qish uchun 15 soniya, shunda ishlamayotgan nishon oqimni qotirib qo‘ymaydi |
| Rotatsiya | itertools.cycle(proxy_list) | Statik IP laringizni navbatma-navbat taqdim etadi |
Nima uchun Session oddiy requests.get() dan ustun
Har bir yuqori darajadagi requests.get() chaqiruvi yangi ulanishlar pulini yaratadi, shuning uchun proksi bilan TCP ulanishi va sayt bilan TLS handshake har safar takrorlanadi. Session esa so‘rovlar oralig‘ida ushbu ulanishlarni ochiq saqlaydi. Bitta IP orqali yuzlab sahifalarni yuklab oluvchi skript uchun bu farq umumiy ishlash vaqtida yaqqol seziladi.
s.proxies.update(proxies) ni bir marta o‘rnatsangiz, har bir s.get() va s.post() proksi orqali o‘tadi. Yodda tutish kerak bo‘lgan jihat: agar muhitda HTTP_PROXY yoki HTTPS_PROXY o‘rnatilgan bo‘lsa, requests ularni sessiya sozlamalari bilan birlashtirishi mumkin; qaysi biri ishlatilayotganiga to‘liq ishonch hosil qilish kerak bo‘lsa, chaqiruvning o‘zida proxies= parametrini uzating.
Xatolar va ularni tushunish
407 Proxy Authentication Requiredbilan keluvchiProxyError: proksi ishlayapti, lekin URL dagi login buyurtmaga mos kelmaydi. 407 xatosi sahifasiga qarang@,:yoki/belgilarini o‘z ichiga olgan parollar URL ni buzadi; avval ularniurllib.parse.quote(password, safe='')bilan kodlang- Proksi URL manzilini
https://ga o‘zgartirish odatda ulanishni uzadi; agar proksi portingiz maxsus TLS porti bo‘lmasa, ikkala kalit uchun hamhttp://qoldiring ConnectTimeouthisob ma’lumotlariga emas, balki IP yoki portga ishora qiladi; ulanish imkoniyatini port tekshirgich yordamida tekshiring
httpx va aiohttp kutubxonalarida ham xuddi shu usul
URL formati o‘zgarishsiz qoladi. httpx da httpx.Client(proxy='http://user:pass@ip:port') yarating; aiohttp da esa session.get(url, proxy=...) ga proxy= parametrini uzating. Rejalashtirish va qayta urinishlarni talab qiluvchi yirikroq crawling jarayonlarini odatda Scrapy orqali bajarish osonroq.
Bosqichma-bosqich
- 1
Proksi URL manzilini shakllantiring
Har bir ProxyV4
ip:port:user:passqatorinihttp://user:pass@ip:portko‘rinishida qayta yozing yoki butun ro‘yxatni proksi formati konverteri yordamida o‘giring. - 2
Lug‘atni yarating
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}deb yozing. - 3
Uni Session ga biriktiring
s = requests.Session()ni yarating va so‘rovlar oralig‘ida ulanishlar ochiq qolishi uchuns.proxies.update(proxies)ni chaqiring. - 4
Chiqish IP manzilini chiqaring
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())buyrug‘ini bajaring; natijadagi IP proksiga tegishli bo‘lishi kerak.
Ko‘p beriladigan savollar
Nima uchun 'https' yozuvi http:// URL manzili hisoblanadi?
Sxema Python veb-sayt bilan emas, balki proksi bilan qanday bog‘lanishini bildiradi. urllib3 proksiga oddiy HTTP orqali ulanadi, CONNECT yuboradi va ushbu tunnel orqali https:// sayti bilan TLS o‘rnatadi, shuning uchun sahifa trafigi baribir shifrlangan bo‘ladi.
So‘rovlarni 25 ta statik proksi bo‘ylab qanday taqsimlash mumkin?
25 ta URL manzilini ro‘yxatga joylashtiring, pool = itertools.cycle(PROXIES) ni yarating hamda har bir so‘rov uchun p = next(pool) olib, proxies={'http': p, 'https': p} ni uzating. Hech bir manzilga ortiqcha yuk tushmasligi uchun har bir IP bo‘yicha oqilona kechikish saqlang.
Python skriptlaridan keladigan trafik hisoblanadimi?
Yo‘q. ProxyV4 xususiy IPv4 va statik ISP tariflari cheksiz trafik bilan taqdim etiladi, shuning uchun uzoq ishlaydigan skriptlar trafik chegarasiga duch kelmaydi.
Manbalar
Python skriptlari uchun statik IP pullari
7 ta davlatda xususiy IPv4 hamda AQSH va Vyetnamda statik ISP. Bitta yoki to‘plam tarzida sotib oling; IP miqdori ortishi bilan bitta IP narxi pasayadi.
AQSH dagi joriy narxlarni ko‘rish