Request Python melalui proxy berautentikasi, langkah demi langkah

· Updated:

Untuk menggunakan proxy di Python requests, teruskan dict proxies dengan kunci 'http' dan 'https' yang sama-sama mengarah ke http://user:pass@ip:port. Pasang dict tersebut pada requests.Session() agar koneksi yang sama ke proxy digunakan kembali untuk setiap panggilan, yang lebih cepat daripada membuka koneksi baru di setiap request. Di bawah ini: penjelasan dict, session, error yang mungkin Anda temui, serta cara satu baris untuk memeriksa IP keluar ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
IPv4 privat (datacenter)
🇺🇸 Amerika Serikat
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Amerika Serikat
IPv4 privat (datacenter)
🇻🇳 Vietnam
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Vietnam

Penjelasan dict proxies

PengaturanNilaiAlasan
'http' key'http://user:pass@ip:port'Digunakan untuk URL http:// biasa
'https' key'http://user:pass@ip:port'Tetap berupa URL proxy http://: urllib3 meminta tunnel CONNECT ke proxy dan menjalankan TLS di dalamnya
timeouttimeout=(5, 15)5 dtk untuk terhubung, 15 dtk untuk membaca, agar target yang mati tidak membekukan thread
Rotasiitertools.cycle(proxy_list)Membagikan IP statis Anda secara bergiliran

Mengapa Session lebih unggul dibanding requests.get() biasa

Setiap pemanggilan requests.get() level atas membuat connection pool baru, sehingga koneksi TCP ke proxy dan TLS handshake dengan situs target diulang setiap saat. Session menjaga koneksi tersebut tetap aktif antar panggilan. Untuk skrip yang mengambil ratusan halaman melalui satu IP, perbedaan ini terlihat jelas pada total waktu eksekusi.

Cukup atur s.proxies.update(proxies) sekali, dan setiap s.get() serta s.post() akan melewati proxy. Satu hal yang perlu diketahui: jika HTTP_PROXY atau HTTPS_PROXY disetel di environment, requests mungkin menggabungkannya dengan pengaturan session; teruskan proxies= pada pemanggilan itu sendiri jika Anda ingin memastikan proxy mana yang digunakan.

Error dan cara memahaminya

  • ProxyError dengan 407 Proxy Authentication Required: proxy dapat dijangkau tetapi informasi login pada URL Anda tidak cocok dengan pesanan. Lihat halaman error 407
  • Password yang mengandung karakter @, :, atau / akan merusak format URL; lakukan encode terlebih dahulu dengan urllib.parse.quote(password, safe='')
  • Mengubah URL proxy menjadi https:// biasanya memutus koneksi; tetap gunakan http:// untuk kedua kunci kecuali port proxy Anda memang khusus port TLS
  • ConnectTimeout mengindikasikan masalah pada IP atau port, bukan kredensial; uji keterjangkauan dengan pemeriksa port

Pola serupa di httpx dan aiohttp

Format URL tetap sama. Di httpx, buat httpx.Client(proxy='http://user:pass@ip:port'); di aiohttp, teruskan proxy= ke session.get(url, proxy=...). Crawling skala lebih besar dengan penjadwalan dan retry biasanya lebih mudah menggunakan Scrapy.

Langkah demi langkah

  1. 1

    Susun URL proxy

    Ubah setiap baris ip:port:user:pass dari ProxyV4 menjadi http://user:pass@ip:port, atau konversikan seluruh daftar dengan konverter format proxy.

  2. 2

    Buat dict

    Tulis proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Pasang ke Session

    Buat s = requests.Session() dan panggil s.proxies.update(proxies) agar koneksi tetap aktif antar request.

  4. 4

    Cetak IP keluar

    Jalankan print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP pada output harus berupa IP proxy tersebut.

Pertanyaan yang sering diajukan

Mengapa entri 'https' berupa URL http://?

Skema ini menjelaskan cara Python berkomunikasi dengan proxy, bukan dengan situs web. urllib3 terhubung ke proxy melalui HTTP biasa, mengirim CONNECT, lalu menjalankan TLS dengan situs https:// melalui tunnel tersebut, sehingga traffic halaman web tetap terenkripsi.

Bagaimana cara mendistribusikan request ke 25 proxy statis?

Masukkan 25 URL tersebut ke dalam daftar, buat pool = itertools.cycle(PROXIES), dan untuk setiap request ambil p = next(pool) lalu teruskan proxies={'http': p, 'https': p}. Berikan jeda waktu yang wajar per IP agar tidak ada satu alamat pun yang dibanjiri request.

Apakah traffic dari skrip Python dibatasi kuota?

Tidak. Paket IPv4 privat dan ISP statis dari ProxyV4 dilengkapi dengan bandwidth tanpa batas, sehingga skrip yang berjalan lama tidak akan terbentur batasan kuota.

Sumber

Pool IP statis untuk skrip Python

IPv4 privat di 7 negara ditambah ISP statis di AS dan Vietnam. Beli satu IP atau dalam jumlah banyak; harga per IP makin murah seiring bertambahnya kuantitas.

Cek harga langsung AS

Related articles

Proxy per platform
Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas
Proksi web scraping untuk Python, Scrapy, Playwright, dan Selenium: pool alamat IPv4 privat dan ISP statis, bandwidth tanpa batas, harga flat per IP.
Setup proxy
Autentikasi proxy Playwright, satu IP statis per context
Beri setiap browser context Playwright proxy HTTP(S) terautentikasi di Node.js atau Python, sesuaikan zona waktu dan lokal dengan IP, lalu cek alamat keluar.
Setup proxy
Proxy Scrapy: meta['proxy'], urutan middleware, dan rotasi
Gunakan proxy HTTP(S) terautentikasi di Scrapy: atur request.meta['proxy'], urutkan middleware sebelum HttpProxyMiddleware (750), rotasi IP dan atur laju crawl.
Alat gratis
Ubah daftar proxy ke format yang dibutuhkan tool Anda
Konversi daftar proxy di browser secara massal antara ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, array JSON, dan file impor FoxyProxy.
Proxy per platform
Proxy untuk pelacakan rank SEO: lihat halaman hasil seperti pencari lokal
Proxy pelacakan rank SEO dengan IPv4 privat di AS, Inggris, Vietnam, Jepang, dan 4 pasar lain agar peringkat, local pack, dan iklan sesuai tampilan lokal.
Proxy per platform
Proxy seller Amazon yang memberikan alamat permanen untuk setiap akun
Proxy Amazon seller untuk Seller Central, KDP & Merch: ISP statis US atau IPv4 privat UK/Jepang per akun, khusus untuk Anda dan tetap sama saat diperpanjang.
IPV4 · united states
Pool Proxy IPv4 Privat AS untuk Scraping, Pelacakan Peringkat, dan Pengecekan Iklan
Beli proxy IPv4 privat AS: IP datacenter statis Amerika, satu pengguna per IP, bandwidth tanpa batas. Dibuat untuk scraping, pelacakan SERP, dan cek iklan AS.
IPV4 · vietnam
Proxy IPv4 Privat Vietnam: Satu IP Tetap per Akun dalam Jumlah Besar
Proxy IPv4 privat Vietnam: IP datacenter statis, satu pelanggan per IP, hemat untuk pembelian massal. Cocok untuk profil seeding, toko Shopee kedua, dan tool.