Permintaan Python melalui proksi dengan pengesahan, langkah demi langkah
Oleh Pasukan Kejuruteraan ProxyV4 · Updated:
Untuk menggunakan proksi dalam Python requests, hantar dict proxies dengan kunci 'http' dan 'https' kedua-duanya menghala ke http://user:pass@ip:port. Masukkan dict tersebut ke dalam requests.Session() dan sambungan yang sama ke proksi akan diguna semula untuk setiap panggilan, iaitu lebih pantas daripada membuka sambungan baharu bagi setiap permintaan. Di bawah: dict, sesi, ralat yang mungkin anda hadapi, serta semakan satu baris untuk IP keluar ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
Penerangan tentang dict proxies
| Tetapan | Nilai | Sebab |
|---|---|---|
Kunci 'http' | 'http://user:pass@ip:port' | Digunakan untuk URL http:// biasa |
Kunci 'https' | 'http://user:pass@ip:port' | Kekal sebagai URL proksi http://: urllib3 meminta terowong CONNECT daripada proksi dan menjalankan TLS di dalamnya |
timeout | timeout=(5, 15) | 5 s untuk menyambung, 15 s untuk membaca, supaya sasaran yang mati tidak membekukan utas |
| Penggiliran | itertools.cycle(proxy_list) | Mengagihkan IP statik anda secara bergilir-gilir |
Mengapa Session lebih baik daripada requests.get() biasa
Setiap panggilan requests.get() peringkat teratas membina kumpulan sambungan baharu, jadi sambungan TCP ke proksi dan jabat tangan TLS dengan laman web diulang setiap kali. Session memastikan sambungan tersebut kekal aktif antara panggilan. Bagi skrip yang mengambil ratusan halaman melalui satu IP, perbezaan ini jelas ketara pada jumlah masa larian.
Tetapkan s.proxies.update(proxies) sekali dan setiap s.get() serta s.post() akan melalui proksi. Satu perkara yang perlu diketahui: jika HTTP_PROXY atau HTTPS_PROXY ditetapkan dalam persekitaran, requests mungkin menggabungkannya dengan tetapan sesi; hantarkan proxies= pada panggilan itu sendiri apabila anda ingin memastikan tetapan mana yang digunakan.
Ralat dan cara memahaminya
ProxyErrordengan407 Proxy Authentication Required: proksi boleh dihubungi tetapi log masuk dalam URL anda tidak sepadan dengan pesanan. Lihat halaman ralat 407- Kata laluan yang mengandungi
@,:atau/merosakkan URL; enkodkannya terlebih dahulu denganurllib.parse.quote(password, safe='') - Menukar URL proksi kepada
https://biasanya memutuskan sambungan; kekalkanhttp://untuk kedua-dua kunci melainkan port proksi anda sememangnya port TLS ConnectTimeoutmerujuk kepada IP atau port, bukan kelayakan log masuk; uji kebolehcapaian dengan pemeriksa port
Corak yang sama dalam httpx dan aiohttp
Format URL ini diguna pakai sama. Dalam httpx, cipta httpx.Client(proxy='http://user:pass@ip:port'); dalam aiohttp, hantarkan proxy= kepada session.get(url, proxy=...). Rayapan berskala lebih besar dengan penjadualan dan cubaan semula biasanya lebih mudah dalam Scrapy.
Langkah demi langkah
- 1
Bina URL proksi
Tulis semula setiap baris ProxyV4
ip:port:user:passsebagaihttp://user:pass@ip:port, atau tukar keseluruhan senarai dengan penukar format proksi. - 2
Cipta dict
Tulis
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Pasang pada Session
Cipta
s = requests.Session()dan panggils.proxies.update(proxies)supaya sambungan kekal aktif antara permintaan. - 4
Cetak IP keluar
Jalankan
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP dalam output mestilah kepunyaan proksi.
Soalan lazim
Mengapa entri 'https' menggunakan URL http://?
Skim tersebut menerangkan cara Python berkomunikasi dengan proksi, bukan dengan laman web. urllib3 menyambung ke proksi melalui HTTP biasa, menghantar CONNECT, dan kemudian melaksanakan TLS dengan laman https:// melalui terowong tersebut, jadi trafik halaman tetap disulitkan.
Bagaimanakah cara untuk mengagihkan permintaan merentasi 25 proksi statik?
Masukkan 25 URL tersebut ke dalam senarai, cipta pool = itertools.cycle(PROXIES), dan untuk setiap permintaan ambil p = next(pool) serta hantarkan proxies={'http': p, 'https': p}. Kekalkan sela masa yang wajar bagi setiap IP supaya tiada satu pun alamat dibebani secara berlebihan.
Adakah trafik daripada skrip Python bermeter?
Tidak. Pelan IPv4 persendirian dan ISP statik ProxyV4 dilengkapi dengan lebar jalur tanpa had, jadi skrip yang berjalan lama tidak akan mencecah had data.
Sumber
Kumpulan IP statik untuk skrip Python
IPv4 persendirian di 7 negara serta ISP statik di AS dan Vietnam. Beli satu IP atau secara pukal; harga bagi setiap IP menurun mengikut kuantiti.
Semak harga langsung AS