ส่งคำขอ Python requests ผ่านพร็อกซีที่ต้องยืนยันตัวตนทีละขั้นตอน
โดยทีมวิศวกร ProxyV4 · Updated:
ในการใช้พร็อกซีกับ Python requests ให้ส่งดิกต์ proxies ที่ทั้งคีย์ 'http' และ 'https' ชี้ไปที่ http://user:pass@ip:port นำดิกต์ดังกล่าวไปใส่ใน requests.Session() เพื่อนำการเชื่อมต่อไปยังพร็อกซีเดิมกลับมาใช้ซ้ำในทุกการเรียกใช้งาน ซึ่งเร็วกว่าการเปิดการเชื่อมต่อใหม่ในทุกคำขอ ด้านล่างนี้คือข้อมูลเกี่ยวกับดิกต์, Session, ข้อผิดพลาดที่อาจพบได้บ่อย และวิธีตรวจสอบ exit IP ของ ProxyV4 ด้วยโค้ดบรรทัดเดียว
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
- 1 IPUS$1.85
- 3+ IPUS$1.70
- 10+ IPUS$1.60
- 25+ IPUS$1.50
- 50+ IPUS$1.40
- 100+ IPUS$1.30
- 200+ IPUS$1.20
- 500+ IPUS$1.10
คำอธิบายเกี่ยวกับดิกต์ proxies
| การตั้งค่า | ค่า | เหตุผล |
|---|---|---|
คีย์ 'http' | 'http://user:pass@ip:port' | ใช้สำหรับ URL แบบ http:// ธรรมดา |
คีย์ 'https' | 'http://user:pass@ip:port' | ยังคงเป็น URL พร็อกซีแบบ http://: โดย urllib3 จะส่งคำขอ CONNECT tunnel ไปยังพร็อกซีและรัน TLS ภายในอุโมงค์นั้น |
timeout | timeout=(5, 15) | 5 วินาทีในการเชื่อมต่อ, 15 วินาทีในการอ่าน เพื่อป้องกันไม่ให้ปลายทางที่ใช้งานไม่ได้ทำให้เธรดค้าง |
| การสลับใช้งาน | itertools.cycle(proxy_list) | จ่าย static IP ของคุณวนสลับกันไปตามลำดับ |
ทำไมการใช้ Session จึงดีกว่าการเรียก requests.get() เดี่ยวๆ
การเรียก requests.get() ระดับบนสุดในแต่ละครั้งจะสร้าง connection pool ใหม่เสมอ ทำให้ต้องเชื่อมต่อ TCP ไปยังพร็อกซีและทำ TLS handshake กับเว็บไซต์ซ้ำทุกรอบ แต่ Session จะคงการเชื่อมต่อเหล่านั้นไว้ระหว่างการเรียกใช้งาน สำหรับสคริปต์ที่ดึงข้อมูลหลายร้อยหน้าผ่าน IP เดียว ความแตกต่างนี้จะเห็นได้ชัดเจนในเวลาการทำงานโดยรวม
ตั้งค่า s.proxies.update(proxies) เพียงครั้งเดียว แล้วทุกคำขอ s.get() และ s.post() จะวิ่งผ่านพร็อกซี สิ่งสำคัญที่ควรรู้: หากมีการกำหนด HTTP_PROXY หรือ HTTPS_PROXY ไว้ใน environment ตัว requests อาจนำค่าดังกล่าวมารวมกับการตั้งค่าของ Session ให้ส่ง proxies= ไปในคำขอโดยตรงเมื่อคุณต้องการความแน่นอนว่ากำลังใช้งานพร็อกซีตัวใด
ข้อผิดพลาดและวิธีทำความเข้าใจ
ProxyErrorพร้อมรหัส407 Proxy Authentication Required: พร็อกซีสามารถเชื่อมต่อได้ แต่ข้อมูลล็อกอินใน URL ของคุณไม่ตรงกับคำสั่งซื้อ ดูเพิ่มเติมที่ หน้ารหัสข้อผิดพลาด 407- รหัสผ่านที่มีอักขระ
@,:หรือ/จะทำให้โครงสร้าง URL ผิดพลาด ให้เข้ารหัสก่อนด้วยurllib.parse.quote(password, safe='') - การเปลี่ยน URL พร็อกซีเป็น
https://มักทำให้การเชื่อมต่อขัดข้อง ควรใช้http://สำหรับทั้งสองคีย์ เว้นแต่พอร์ตพร็อกซีของคุณจะเป็นพอร์ต TLS โดยเฉพาะ ConnectTimeoutบ่งชี้ว่าปัญหาอยู่ที่ IP หรือพอร์ต ไม่ใช่ข้อมูลยืนยันตัวตน ทดสอบการเชื่อมต่อได้ด้วย เครื่องมือตรวจสอบพอร์ต
รูปแบบเดียวกันใน httpx และ aiohttp
สามารถใช้รูปแบบ URL เดียวกันได้ ใน httpx ให้สร้าง httpx.Client(proxy='http://user:pass@ip:port') ส่วนใน aiohttp ให้ส่ง proxy= ไปที่ session.get(url, proxy=...) สำหรับการดึงข้อมูลขนาดใหญ่ที่มีการกำหนดเวลาและการลองใหม่ มักจะจัดการได้ง่ายกว่าด้วย Scrapy
ขั้นตอน
- 1
สร้าง URL พร็อกซี
แปลงแต่ละบรรทัด
ip:port:user:passของ ProxyV4 ให้อยู่ในรูปแบบhttp://user:pass@ip:portหรือแปลงทั้งรายการด้วย เครื่องมือแปลงรูปแบบพร็อกซี - 2
สร้างดิกต์
กำหนดค่า
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'} - 3
เชื่อมต่อเข้ากับ Session
สร้าง
s = requests.Session()แล้วเรียกใช้s.proxies.update(proxies)เพื่อคงการเชื่อมต่อไว้ระหว่างแต่ละคำขอ - 4
แสดงผล exit IP
รัน
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())โดย IP ที่แสดงในผลลัพธ์จะต้องเป็น IP ของพร็อกซี
คำถามที่พบบ่อย
ทำไมรายการ 'https' จึงเป็น URL แบบ http://?
scheme นี้ระบุถึงวิธีที่ Python สื่อสารกับพร็อกซี ไม่ใช่กับเว็บไซต์ โดย urllib3 จะเชื่อมต่อไปยังพร็อกซีผ่าน HTTP ธรรมดา จากนั้นส่งคำสั่ง CONNECT แล้วจึงทำ TLS กับเว็บไซต์ https:// ผ่านอุโมงค์ดังกล่าว ปริมาณการใช้งานของหน้าเว็บจึงยังคงได้รับการเข้ารหัสความปลอดภัยตามปกติ
จะกระจายคำขอไปยัง static proxy จำนวน 25 ตัวได้อย่างไร?
นำ URL ทั้ง 25 ตัวใส่ไว้ในลิสต์ สร้าง pool = itertools.cycle(PROXIES) และในแต่ละคำขอให้ดึง p = next(pool) แล้วส่ง proxies={'http': p, 'https': p} เว้นระยะหน่วงเวลาที่เหมาะสมสำหรับแต่ละ IP เพื่อไม่ให้ส่งคำขอไปที่แอดเดรสใดแอดเดรสหนึ่งถี่จนเกินไป
ปริมาณการใช้งานจากสคริปต์ Python มีการจำกัดปริมาณข้อมูลหรือไม่?
ไม่ แพ็กเกจ private IPv4 และ static ISP ของ ProxyV4 มาพร้อมกับแบนด์วิดท์ไม่จำกัด สคริปต์ที่ทำงานต่อเนื่องยาวนานจึงไม่ติดขีดจำกัดปริมาณข้อมูล
แหล่งข้อมูล
พูล static IP สำหรับสคริปต์ Python
Private IPv4 ใน 7 ประเทศ พร้อมด้วย static ISP ในสหรัฐอเมริกาและเวียดนาม ซื้อแบบ IP เดียวหรือเป็นชุด ยิ่งซื้อจำนวนมาก ราคาต่อ IP ยิ่งถูกลง
ตรวจสอบราคาแบบเรียลไทม์ในสหรัฐอเมริกา