Баталгаажуулалттай проксигоор дамжуулан Python requests ашиглах алхамчилсан заавар
ProxyV4 инженерийн баг · Updated:
Python requests-д прокси ашиглахын тулд 'http' ба 'https' түлхүүрүүд нь хоёул http://user:pass@ip:port руу заасан proxies dict дамжуулна. Энэхүү dict-ийг requests.Session() дээр тохируулснаар дуудлага бүрд прокси руу хийсэн нэг холболтыг дахин ашиглах ба энэ нь хүсэлт тутамд шинээр нээхээс хамаагүй хурдан байдаг. Доор: dict тохиргоо, session, тохиолдож болох алдаанууд болон ProxyV4-ийн гаралтын IP-г нэг мөрөөр шалгах аргыг харуулав.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
proxies dict-ийн тайлбар
| Тохиргоо | Утга | Шалтгаан |
|---|---|---|
'http' түлхүүр | 'http://user:pass@ip:port' | Энгийн http:// URL-уудад ашиглагдана |
'https' түлхүүр | 'http://user:pass@ip:port' | Мөн л http:// прокси URL: urllib3 нь проксигоос CONNECT туннель хүсэж, дотор нь TLS ажиллуулдаг |
timeout | timeout=(5, 15) | Холбогдоход 5 сек, уншихад 15 сек тул хариу өгөхгүй байгаа бай сүлжээний урсгалыг гацаахгүй |
| Сэлгэх (Rotation) | itertools.cycle(proxy_list) | Таны статик IP-уудыг дарааллын дагуу хуваарилна |
Яагаад Session нь дан requests.get()-ээс давуутай вэ
Дээд түвшний requests.get() дуудлага бүр шинэ холболтын сан (connection pool) үүсгэдэг тул прокси руу хийх TCP холболт болон сайттай хийх TLS гар барих үйл явц нь үргэлж давтагддаг. Харин Session нь эдгээр холболтыг дуудлагуудын хооронд хадгалж үлддэг. Нэг IP-аар хэдэн зуун хуудас татдаг скриптийн хувьд энэ ялгаа нь нийт ажиллах хугацаанд мэдэгдэхүйц нөлөөлдөг.
s.proxies.update(proxies) гэж нэг удаа тохируулснаар s.get() болон s.post() бүр проксигоор дамжина. Нэг анхаарах зүйл: хэрэв орчны хувьсагчид HTTP_PROXY эсвэл HTTPS_PROXY тохируулагдсан бол requests тэдгээрийг session-ий тохиргоотой нэгтгэж болзошгүй тул алиныг нь ашиглахыг бүрэн баталгаажуулах шаардлагатай бол дуудлага дээрээ шууд proxies= гэж дамжуулаарай.
Алдаанууд болон тэдгээрийг хэрхэн ойлгох вэ
407 Proxy Authentication RequiredбүхийProxyError: проксид хандах боломжтой байгаа боловч таны URL дахь нэвтрэх мэдээлэл захиалгатай тохирохгүй байна. 407 error page хуудсыг үзнэ үү@,:эсвэл/тэмдэгт агуулсан нууц үг нь URL-ийг эвддэг тул эхлээдurllib.parse.quote(password, safe='')ашиглан кодлоорой- Прокси URL-ийг
https://болгож өөрчлөх нь ихэвчлэн холболтыг тасалдаг; таны прокси порт тусгайлан TLS порт биш л бол хоёр түлхүүр хоёуланд ньhttp://хэвээр үлдээнэ үү ConnectTimeoutнь нэвтрэх мэдээлэл бус IP эсвэл порттой холбоотойг илтгэнэ; хандах боломжтой эсэхийг port checker ашиглан шалгана уу
httpx болон aiohttp дахь ижил зарчим
URL-ийн бүтэц энд мөн адил үйлчилнэ. httpx дээр httpx.Client(proxy='http://user:pass@ip:port') үүсгэх ба aiohttp дээр session.get(url, proxy=...) гэж proxy= дамжуулна. Хуваарь гаргах, дахин оролдох шаардлагатай томоохон хэмжээний веб хуулалтыг (crawl) ихэвчлэн Scrapy дээр хийх нь илүү хялбар байдаг.
Алхам алхмаар
- 1
Прокси URL үүсгэх
ProxyV4-ийн
ip:port:user:passмөр бүрийгhttp://user:pass@ip:portхэлбэрээр бичих эсвэл бүх жагсаалтыг proxy format converter ашиглан хөрвүүлнэ үү. - 2
Dict үүсгэх
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}гэж бичнэ үү. - 3
Үүнийг Session-д холбох
s = requests.Session()үүсгэж, хүсэлтүүдийн хооронд холболтыг хадгалахын тулдs.proxies.update(proxies)-г дуудна. - 4
Гаралтын IP-г хэвлэж шалгах
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())кодыг ажиллуулна; гаралтан дээрх IP нь проксигийнх байх ёстой.
Түгээмэл асуултууд
Яагаад 'https' тохиргоо нь http:// URL байдаг вэ?
Схем (scheme) нь вэбсайттай бус, харин Python прокситой хэрхэн харилцахыг тодорхойлдог. urllib3 нь прокситой энгийн HTTP-ээр холбогдож, CONNECT илгээн, дараа нь уг туннелиэр дамжуулан https:// сайттай TLS үүсгэдэг тул хуудасны трафик шифрлэгдсэн хэвээр байна.
Хүсэлтүүдийг 25 статик проксид хэрхэн хуваарилах вэ?
25 URL-ийг жагсаалтад оруулж, pool = itertools.cycle(PROXIES) үүсгээд, хүсэлт бүрд p = next(pool) авч, proxies={'http': p, 'https': p} гэж дамжуулна. Нэг хаяг руу хэт их ачаалал өгөхгүйн тулд IP бүрийн хооронд тохиромжтой хугацааны завсарлага (delay) тавина уу.
Python скриптийн дата хэрэглээ хязгаартай юу?
Үгүй. ProxyV4-ийн хувийн IPv4 болон статик ISP багцууд нь хязгааргүй дата хэрэглээтэй тул удаан ажилладаг скриптүүдэд дата лимит дуусах асуудал гарахгүй.
Эх сурвалж
Python скриптэд зориулсан статик IP сан
7 улс дахь хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP. Ганц IP эсвэл багцаар нь худалдаж аваарай; IP-ийн тоо нэмэгдэх тусам нэгжийн үнэ буурна.
АНУ-ын шууд үнийг шалгах