ProxyV4

ส่งคำขอ Python requests ผ่านพร็อกซีที่ต้องยืนยันตัวตนทีละขั้นตอน

· Updated:

ในการใช้พร็อกซีกับ Python requests ให้ส่งดิกต์ proxies ที่ทั้งคีย์ 'http' และ 'https' ชี้ไปที่ http://user:pass@ip:port นำดิกต์ดังกล่าวไปใส่ใน requests.Session() เพื่อนำการเชื่อมต่อไปยังพร็อกซีเดิมกลับมาใช้ซ้ำในทุกการเรียกใช้งาน ซึ่งเร็วกว่าการเปิดการเชื่อมต่อใหม่ในทุกคำขอ ด้านล่างนี้คือข้อมูลเกี่ยวกับดิกต์, Session, ข้อผิดพลาดที่อาจพบได้บ่อย และวิธีตรวจสอบ exit IP ของ ProxyV4 ด้วยโค้ดบรรทัดเดียว

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Private IPv4 (datacenter)
🇺🇸 สหรัฐอเมริกา
มีสินค้า
เริ่มต้น
US$1.10 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
ซื้อ สหรัฐอเมริกา
Private IPv4 (datacenter)
🇻🇳 เวียดนาม
มีสินค้า
เริ่มต้น
US$1.10 / IP / เดือน
ส่วนลดตามจำนวนการสั่งซื้อ
  • 1 IPUS$1.85
  • 3+ IPUS$1.70
  • 10+ IPUS$1.60
  • 25+ IPUS$1.50
  • 50+ IPUS$1.40
  • 100+ IPUS$1.30
  • 200+ IPUS$1.20
  • 500+ IPUS$1.10
ซื้อ เวียดนาม
พร็อกซีตามแพลตฟอร์ม:Web Scraping & CrawlingSEO & SERP TrackingAmazon

คำอธิบายเกี่ยวกับดิกต์ proxies

การตั้งค่าค่าเหตุผล
คีย์ 'http''http://user:pass@ip:port'ใช้สำหรับ URL แบบ http:// ธรรมดา
คีย์ 'https''http://user:pass@ip:port'ยังคงเป็น URL พร็อกซีแบบ http://: โดย urllib3 จะส่งคำขอ CONNECT tunnel ไปยังพร็อกซีและรัน TLS ภายในอุโมงค์นั้น
timeouttimeout=(5, 15)5 วินาทีในการเชื่อมต่อ, 15 วินาทีในการอ่าน เพื่อป้องกันไม่ให้ปลายทางที่ใช้งานไม่ได้ทำให้เธรดค้าง
การสลับใช้งานitertools.cycle(proxy_list)จ่าย static IP ของคุณวนสลับกันไปตามลำดับ

ทำไมการใช้ Session จึงดีกว่าการเรียก requests.get() เดี่ยวๆ

การเรียก requests.get() ระดับบนสุดในแต่ละครั้งจะสร้าง connection pool ใหม่เสมอ ทำให้ต้องเชื่อมต่อ TCP ไปยังพร็อกซีและทำ TLS handshake กับเว็บไซต์ซ้ำทุกรอบ แต่ Session จะคงการเชื่อมต่อเหล่านั้นไว้ระหว่างการเรียกใช้งาน สำหรับสคริปต์ที่ดึงข้อมูลหลายร้อยหน้าผ่าน IP เดียว ความแตกต่างนี้จะเห็นได้ชัดเจนในเวลาการทำงานโดยรวม

ตั้งค่า s.proxies.update(proxies) เพียงครั้งเดียว แล้วทุกคำขอ s.get() และ s.post() จะวิ่งผ่านพร็อกซี สิ่งสำคัญที่ควรรู้: หากมีการกำหนด HTTP_PROXY หรือ HTTPS_PROXY ไว้ใน environment ตัว requests อาจนำค่าดังกล่าวมารวมกับการตั้งค่าของ Session ให้ส่ง proxies= ไปในคำขอโดยตรงเมื่อคุณต้องการความแน่นอนว่ากำลังใช้งานพร็อกซีตัวใด

ข้อผิดพลาดและวิธีทำความเข้าใจ

  • ProxyError พร้อมรหัส 407 Proxy Authentication Required: พร็อกซีสามารถเชื่อมต่อได้ แต่ข้อมูลล็อกอินใน URL ของคุณไม่ตรงกับคำสั่งซื้อ ดูเพิ่มเติมที่ หน้ารหัสข้อผิดพลาด 407
  • รหัสผ่านที่มีอักขระ @, : หรือ / จะทำให้โครงสร้าง URL ผิดพลาด ให้เข้ารหัสก่อนด้วย urllib.parse.quote(password, safe='')
  • การเปลี่ยน URL พร็อกซีเป็น https:// มักทำให้การเชื่อมต่อขัดข้อง ควรใช้ http:// สำหรับทั้งสองคีย์ เว้นแต่พอร์ตพร็อกซีของคุณจะเป็นพอร์ต TLS โดยเฉพาะ
  • ConnectTimeout บ่งชี้ว่าปัญหาอยู่ที่ IP หรือพอร์ต ไม่ใช่ข้อมูลยืนยันตัวตน ทดสอบการเชื่อมต่อได้ด้วย เครื่องมือตรวจสอบพอร์ต

รูปแบบเดียวกันใน httpx และ aiohttp

สามารถใช้รูปแบบ URL เดียวกันได้ ใน httpx ให้สร้าง httpx.Client(proxy='http://user:pass@ip:port') ส่วนใน aiohttp ให้ส่ง proxy= ไปที่ session.get(url, proxy=...) สำหรับการดึงข้อมูลขนาดใหญ่ที่มีการกำหนดเวลาและการลองใหม่ มักจะจัดการได้ง่ายกว่าด้วย Scrapy

ขั้นตอน

  1. 1

    สร้าง URL พร็อกซี

    แปลงแต่ละบรรทัด ip:port:user:pass ของ ProxyV4 ให้อยู่ในรูปแบบ http://user:pass@ip:port หรือแปลงทั้งรายการด้วย เครื่องมือแปลงรูปแบบพร็อกซี

  2. 2

    สร้างดิกต์

    กำหนดค่า proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}

  3. 3

    เชื่อมต่อเข้ากับ Session

    สร้าง s = requests.Session() แล้วเรียกใช้ s.proxies.update(proxies) เพื่อคงการเชื่อมต่อไว้ระหว่างแต่ละคำขอ

  4. 4

    แสดงผล exit IP

    รัน print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) โดย IP ที่แสดงในผลลัพธ์จะต้องเป็น IP ของพร็อกซี

คำถามที่พบบ่อย

ทำไมรายการ 'https' จึงเป็น URL แบบ http://?

scheme นี้ระบุถึงวิธีที่ Python สื่อสารกับพร็อกซี ไม่ใช่กับเว็บไซต์ โดย urllib3 จะเชื่อมต่อไปยังพร็อกซีผ่าน HTTP ธรรมดา จากนั้นส่งคำสั่ง CONNECT แล้วจึงทำ TLS กับเว็บไซต์ https:// ผ่านอุโมงค์ดังกล่าว ปริมาณการใช้งานของหน้าเว็บจึงยังคงได้รับการเข้ารหัสความปลอดภัยตามปกติ

จะกระจายคำขอไปยัง static proxy จำนวน 25 ตัวได้อย่างไร?

นำ URL ทั้ง 25 ตัวใส่ไว้ในลิสต์ สร้าง pool = itertools.cycle(PROXIES) และในแต่ละคำขอให้ดึง p = next(pool) แล้วส่ง proxies={'http': p, 'https': p} เว้นระยะหน่วงเวลาที่เหมาะสมสำหรับแต่ละ IP เพื่อไม่ให้ส่งคำขอไปที่แอดเดรสใดแอดเดรสหนึ่งถี่จนเกินไป

ปริมาณการใช้งานจากสคริปต์ Python มีการจำกัดปริมาณข้อมูลหรือไม่?

ไม่ แพ็กเกจ private IPv4 และ static ISP ของ ProxyV4 มาพร้อมกับแบนด์วิดท์ไม่จำกัด สคริปต์ที่ทำงานต่อเนื่องยาวนานจึงไม่ติดขีดจำกัดปริมาณข้อมูล

แหล่งข้อมูล

พูล static IP สำหรับสคริปต์ Python

Private IPv4 ใน 7 ประเทศ พร้อมด้วย static ISP ในสหรัฐอเมริกาและเวียดนาม ซื้อแบบ IP เดียวหรือเป็นชุด ยิ่งซื้อจำนวนมาก ราคาต่อ IP ยิ่งถูกลง

ตรวจสอบราคาแบบเรียลไทม์ในสหรัฐอเมริกา

Related articles

พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับ Web Scraping: พูล IP แบบคงที่ พร้อมทราฟฟิกไม่จำกัด
พร็อกซี Web Scraping สำหรับ Python, Scrapy, Playwright และ Selenium ด้วยพูล Private IPv4 และ Static ISP ไม่จำกัดแบนด์วิดท์ คิดราคาเหมาจ่ายต่อ IP คงที่
การตั้งค่าพร็อกซี
การยืนยันตัวตนพร็อกซี Playwright แยกหนึ่ง static IP ต่อ Context
ตั้งค่าพร็อกซี HTTP(S) แบบยืนยันตัวตนแยกตาม Browser Context ของ Playwright ใน Node.js หรือ Python พร้อมปรับเขตเวลาและภาษาให้ตรงกับ IP เพื่อยืนยัน IP ขาออก
การตั้งค่าพร็อกซี
พร็อกซี Scrapy: meta['proxy'], ลำดับมิดเดิลแวร์ และการสลับ IP
ใช้พร็อกซี HTTP(S) แบบยืนยันตัวตนใน Scrapy: กำหนด request.meta['proxy'] จัดลำดับมิดเดิลแวร์ไว้ก่อน HttpProxyMiddleware (750) สลับ IP และคุมจังหวะการดึงข้อมูล
เครื่องมือฟรี
แปลงรูปแบบรายการพร็อกซีให้ตรงกับที่เครื่องมือของคุณต้องการ
แปลงรายการพร็อกซียกชุดในเบราว์เซอร์ สลับระหว่าง ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, อาร์เรย์ JSON และไฟล์นำเข้า FoxyProxy ได้ทันที
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับเช็กอันดับ SEO: ดูหน้าผลการค้นหาแบบเดียวกับที่ผู้ใช้ในพื้นที่เห็น
พร็อกซีเช็กอันดับ SEO ด้วย private IPv4 ในสหรัฐฯ สหราชอาณาจักร เวียดนาม ญี่ปุ่น และอีก 4 ประเทศ เพื่อให้อันดับ local pack และโฆษณาตรงกับที่คนในพื้นที่เห็นจริง
พร็อกซีตามแพลตฟอร์ม
พร็อกซีสำหรับผู้ขาย Amazon ที่มอบที่อยู่ IP ถาวรให้แก่แต่ละบัญชี
พร็อกซี Amazon Seller สำหรับ Seller Central, KDP และ Merch: ใช้ US Static ISP หรือ UK/Japan Private IPv4 ต่อบัญชี เช่าคนเดียว คง IP เดิมเมื่อต่ออายุ
IPV4 · united states
พูลพร็อกซีส่วนตัว IPv4 สหรัฐฯ สำหรับการดึงข้อมูล ติดตามอันดับ และตรวจสอบโฆษณา
ซื้อพร็อกซี US private IPv4: IP datacenter สหรัฐฯ แบบคงที่ ใช้งานคนเดียวต่อ IP แบนด์วิดท์ไม่จำกัด เหมาะสำหรับ scraping, ติดตาม SERP และตรวจสอบโฆษณาในสหรัฐฯ
IPV4 · vietnam
พร็อกซีส่วนตัว IPv4 เวียดนาม: 1 IP คงที่ต่อบัญชี สำหรับการใช้งานจำนวนมาก
ไพรเวทพร็อกซี IPv4 เวียดนาม: IP ดาต้าเซ็นเตอร์เวียดนามแบบคงที่ ลูกค้าใช้งานคนเดียว ราคายกชุด สำหรับโปรไฟล์ Seeding ร้าน Shopee สำรอง และเครื่องมือบอท