ProxyV4

Баталгаажуулалттай проксигоор дамжуулан Python requests ашиглах алхамчилсан заавар

· Updated:

Python requests-д прокси ашиглахын тулд 'http' ба 'https' түлхүүрүүд нь хоёул http://user:pass@ip:port руу заасан proxies dict дамжуулна. Энэхүү dict-ийг requests.Session() дээр тохируулснаар дуудлага бүрд прокси руу хийсэн нэг холболтыг дахин ашиглах ба энэ нь хүсэлт тутамд шинээр нээхээс хамаагүй хурдан байдаг. Доор: dict тохиргоо, session, тохиолдож болох алдаанууд болон ProxyV4-ийн гаралтын IP-г нэг мөрөөр шалгах аргыг харуулав.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Хувийн IPv4 (дата төв)
🇺🇸 Америкийн Нэгдсэн Улс
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Америкийн Нэгдсэн Улс худалдаж авах
Хувийн IPv4 (дата төв)
🇻🇳 Вьетнам
Бэлэн байгаа
Эхлэх үнэ
$ 1.10 / IP / сар
Тоо хэмжээний хөнгөлөлт
  • 1 IP$ 1.85
  • 3+ IP$ 1.70
  • 10+ IP$ 1.60
  • 25+ IP$ 1.50
  • 50+ IP$ 1.40
  • 100+ IP$ 1.30
  • 200+ IP$ 1.20
  • 500+ IP$ 1.10
Вьетнам худалдаж авах
Платформоорх прокси:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies dict-ийн тайлбар

ТохиргооУтгаШалтгаан
'http' түлхүүр'http://user:pass@ip:port'Энгийн http:// URL-уудад ашиглагдана
'https' түлхүүр'http://user:pass@ip:port'Мөн л http:// прокси URL: urllib3 нь проксигоос CONNECT туннель хүсэж, дотор нь TLS ажиллуулдаг
timeouttimeout=(5, 15)Холбогдоход 5 сек, уншихад 15 сек тул хариу өгөхгүй байгаа бай сүлжээний урсгалыг гацаахгүй
Сэлгэх (Rotation)itertools.cycle(proxy_list)Таны статик IP-уудыг дарааллын дагуу хуваарилна

Яагаад Session нь дан requests.get()-ээс давуутай вэ

Дээд түвшний requests.get() дуудлага бүр шинэ холболтын сан (connection pool) үүсгэдэг тул прокси руу хийх TCP холболт болон сайттай хийх TLS гар барих үйл явц нь үргэлж давтагддаг. Харин Session нь эдгээр холболтыг дуудлагуудын хооронд хадгалж үлддэг. Нэг IP-аар хэдэн зуун хуудас татдаг скриптийн хувьд энэ ялгаа нь нийт ажиллах хугацаанд мэдэгдэхүйц нөлөөлдөг.

s.proxies.update(proxies) гэж нэг удаа тохируулснаар s.get() болон s.post() бүр проксигоор дамжина. Нэг анхаарах зүйл: хэрэв орчны хувьсагчид HTTP_PROXY эсвэл HTTPS_PROXY тохируулагдсан бол requests тэдгээрийг session-ий тохиргоотой нэгтгэж болзошгүй тул алиныг нь ашиглахыг бүрэн баталгаажуулах шаардлагатай бол дуудлага дээрээ шууд proxies= гэж дамжуулаарай.

Алдаанууд болон тэдгээрийг хэрхэн ойлгох вэ

  • 407 Proxy Authentication Required бүхий ProxyError: проксид хандах боломжтой байгаа боловч таны URL дахь нэвтрэх мэдээлэл захиалгатай тохирохгүй байна. 407 error page хуудсыг үзнэ үү
  • @, : эсвэл / тэмдэгт агуулсан нууц үг нь URL-ийг эвддэг тул эхлээд urllib.parse.quote(password, safe='') ашиглан кодлоорой
  • Прокси URL-ийг https:// болгож өөрчлөх нь ихэвчлэн холболтыг тасалдаг; таны прокси порт тусгайлан TLS порт биш л бол хоёр түлхүүр хоёуланд нь http:// хэвээр үлдээнэ үү
  • ConnectTimeout нь нэвтрэх мэдээлэл бус IP эсвэл порттой холбоотойг илтгэнэ; хандах боломжтой эсэхийг port checker ашиглан шалгана уу

httpx болон aiohttp дахь ижил зарчим

URL-ийн бүтэц энд мөн адил үйлчилнэ. httpx дээр httpx.Client(proxy='http://user:pass@ip:port') үүсгэх ба aiohttp дээр session.get(url, proxy=...) гэж proxy= дамжуулна. Хуваарь гаргах, дахин оролдох шаардлагатай томоохон хэмжээний веб хуулалтыг (crawl) ихэвчлэн Scrapy дээр хийх нь илүү хялбар байдаг.

Алхам алхмаар

  1. 1

    Прокси URL үүсгэх

    ProxyV4-ийн ip:port:user:pass мөр бүрийг http://user:pass@ip:port хэлбэрээр бичих эсвэл бүх жагсаалтыг proxy format converter ашиглан хөрвүүлнэ үү.

  2. 2

    Dict үүсгэх

    proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'} гэж бичнэ үү.

  3. 3

    Үүнийг Session-д холбох

    s = requests.Session() үүсгэж, хүсэлтүүдийн хооронд холболтыг хадгалахын тулд s.proxies.update(proxies)-г дуудна.

  4. 4

    Гаралтын IP-г хэвлэж шалгах

    print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) кодыг ажиллуулна; гаралтан дээрх IP нь проксигийнх байх ёстой.

Түгээмэл асуултууд

Яагаад 'https' тохиргоо нь http:// URL байдаг вэ?

Схем (scheme) нь вэбсайттай бус, харин Python прокситой хэрхэн харилцахыг тодорхойлдог. urllib3 нь прокситой энгийн HTTP-ээр холбогдож, CONNECT илгээн, дараа нь уг туннелиэр дамжуулан https:// сайттай TLS үүсгэдэг тул хуудасны трафик шифрлэгдсэн хэвээр байна.

Хүсэлтүүдийг 25 статик проксид хэрхэн хуваарилах вэ?

25 URL-ийг жагсаалтад оруулж, pool = itertools.cycle(PROXIES) үүсгээд, хүсэлт бүрд p = next(pool) авч, proxies={'http': p, 'https': p} гэж дамжуулна. Нэг хаяг руу хэт их ачаалал өгөхгүйн тулд IP бүрийн хооронд тохиромжтой хугацааны завсарлага (delay) тавина уу.

Python скриптийн дата хэрэглээ хязгаартай юу?

Үгүй. ProxyV4-ийн хувийн IPv4 болон статик ISP багцууд нь хязгааргүй дата хэрэглээтэй тул удаан ажилладаг скриптүүдэд дата лимит дуусах асуудал гарахгүй.

Эх сурвалж

Python скриптэд зориулсан статик IP сан

7 улс дахь хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP. Ганц IP эсвэл багцаар нь худалдаж аваарай; IP-ийн тоо нэмэгдэх тусам нэгжийн үнэ буурна.

АНУ-ын шууд үнийг шалгах

Related articles

Платформоорх прокси
Веб скрапинг хийх прокси: хязгааргүй дататай тогтмол IP сан
Python, Scrapy, Playwright, Selenium-д зориулсан веб скрапинг прокси: хязгааргүй трафик, хувийн IPv4 болон статик ISP хаягийн сан, IP тутамд тогтмол үнэтэй.
Прокси тохиргоо
Playwright прокси баталгаажуулалт, context бүрд нэг статик IP
Playwright browser context бүрд Node.js эсвэл Python-оор баталгаажуулсан HTTP(S) прокси холбож, цагийн бүс, хэлийг IP-д тааруулан гаралтын хаягаа шалгаарай.
Прокси тохиргоо
Scrapy прокси: meta['proxy'], middleware-ийн эрэмбэ ба сэлгэлт
Scrapy-д HTTP(S) прокси ашиглах: request.meta['proxy'] зааж, middleware-ийг HttpProxyMiddleware (750)-ын өмнө тавин IP-г сэлгэж, таталтын хурдаа тохируулаарай.
Үнэгүй хэрэгслүүд
Прокси жагсаалтыг хэрэгсэлдээ тохирох формат руу хөрвүүлээрэй
Хөтөч дээрээ ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массив, FoxyProxy импорт файлын хооронд прокси жагсаалтыг бөөнөөр нь хөрвүүл.
Платформоорх прокси
SEO зэрэглэл хянах прокси: нутгийн хэрэглэгчийн хардаг илэрцийн хуудсыг хараарай
АНУ, Их Британи, Вьетнам, Япон зэрэг 7 зах зээлийн хувийн IPv4 проксигоор SEO зэрэглэл, орон нутгийн илэрц, зарыг нутгийн хэрэглэгчийн хардаг шиг шалгаарай.
Платформоорх прокси
Данс бүрд байнгын хаяг олгох Amazon худалдагчийн прокси
Seller Central, KDP, Merch-ийн Amazon прокси: данс бүрд АНУ-ын статик ISP эсвэл Их Британи/Японы хувийн IPv4. Зөвхөн танд түрээслүүлж, сунгахад хадгална.
IPV4 · united states
АНУ-ын хувийн IPv4 прокси сан: Өгөгдөл цуглуулах, эрэмбэ хянах, зар шалгахад
АНУ-ын хувийн IPv4 прокси худалдан аваарай: хязгааргүй дата, 1 IP-д 1 хэрэглэгч, Америкийн статик дата төвийн IP. Скрапинг, SERP болон зар шалгахад зориулав.
IPV4 · vietnam
Вьетнамын хувийн IPv4 прокси: Их хэмжээгээр, данс тутамд нэг тогтмол IP
Вьетнамын хувийн IPv4 прокси: тогтмол дата төвийн IP, зөвхөн нэг хэрэглэгчид, бөөнөөр авахад хямд. Сийдинг профайл, Shopee-ийн туслах дэлгүүр болон хэрэгсэлд.