Scrapy прокси: meta['proxy'], middleware-ийн эрэмбэ ба сэлгэлт
ProxyV4 инженерийн баг · Updated:
Scrapy-д проксиг хүсэлт тус бүрд request.meta['proxy'] = 'http://user:pass@ip:port' байдлаар тохируулдаг бөгөөд суурилагдсан HttpProxyMiddleware (эрэмбэ 750) нь user:pass хэсгийг Proxy-Authorization толгой мэдээлэл болгон хөрвүүлдэг. Үүний өмнө буюу 740 эрэмбэд ажиллах жижиг downloader middleware нэмснээр таны spider-ийн илгээж буй хүсэлт бүр таны ProxyV4 сангаас IP сонгох боломжтой болно.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
- 1 IP$ 1.85
- 3+ IP$ 1.70
- 10+ IP$ 1.60
- 25+ IP$ 1.50
- 50+ IP$ 1.40
- 100+ IP$ 1.30
- 200+ IP$ 1.20
- 500+ IP$ 1.10
Middleware-ийн дугаар яагаад чухал вэ
Downloader middleware-үүд гадагш хүсэлт илгээх замд өсөх дарааллаар ажилладаг. 750 дээрх HttpProxyMiddleware нь meta['proxy']-г уншиж, нэвтрэх мэдээллийг URL-аас салган баталгаажуулалтын толгой бичдэг. Хэрэв таны өөрийн middleware проксиг дараа нь, тухайлбал 800 дээр тохируулбал суурилагдсан нь аль хэдийн ажиллачихсан байх тул нэвтрэх эрх хэзээ ч хөрвүүлэгдэхгүй бөгөөд прокси 407 алдаа буцаана. Өөрийнхийгөө 740 дээр бүртгүүлснээр эхэнд нь тавих болно.
| Тохиргоо | Санал болгох утга | Үр нөлөө |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Тухайн хүсэлтийг өгөгдсөн ProxyV4 проксигоор дамжуулна |
| Таны middleware-ийн эрэмбэ | 740 | HttpProxyMiddleware (750)-ийн өмнө ажиллах тул нэвтрэх мэдээллийг кодлоно |
CONCURRENT_REQUESTS_PER_IP | 2-оос 4 | Нэг очих IP бүрд зэрэг илгээх хүсэлтийг хязгаарлах бөгөөд сервер бүрд хэт ачаалал өгөхгүй соёлтой хязгаарлалт юм |
AUTOTHROTTLE_ENABLED | True | Зорилтот серверийн хариу өгөх хурдад үндэслэн Scrapy-д хүлээх хугацааг ихэсгэх эсвэл багасгах боломж олгоно |
Сэлгэх middleware-ийн ерөнхий бүтэц
from_crawler()дотор тохиргооноос проксигийн жагсаалтыг уншиж, middleware инстанс дээр хадгалахprocess_request()дотор тухайн хүсэлтэд прокси заагаагүй болrequest.meta['proxy'] = random.choice(self.proxies)гэж оноох- Хариу нь
429эсвэл503ирвэл татгалзсан проксигийн оронд сангаас өөр прокси сонгон дахин оролдох - Хүсэлт хоорондын зай метроном шиг тогтмол биш, харилцан адилгүй байхын тулд
DOWNLOAD_DELAY = 1.0-ийгRANDOMIZE_DOWNLOAD_DELAY = True-тэй хослуулах
Сангийн хэмжээг сонгох
Scrapy-ийн таталт минутад маш олон хүсэлт илгээж чаддаг тул IP-ийн тоо нь IP бүрийг хэр зөөлөн ашиглахыг тодорхойлдог. ProxyV4-д захиалгын доод хэмжээ байхгүй, IP-ийн тоо өсөх тусам нэгжийн үнэ буурдаг бөгөөд хувийн IPv4 дата хязгааргүй тул их хэмжээний таталт нь зурвасын өргөний хувьд бага хэмжээнийхтэй ижил үнэтэй байна. IP бүрийг зөвхөн нэг л хэрэглэгч ашигладаг тул түүний нэр хүнд зөвхөн таны таталтыг илтгэх бөгөөд өөр хэнийг ч харуулахгүй. Таталтын хэмжээ болон зүй зохистой байдлыг төлөвлөх талаар web scraping guide-аас үзнэ үү.
Алхам алхмаар
- 1
Прокси URL-уудыг бэлтгэх
Өөрийн ProxyV4-ийн
ip:port:user:passмөрүүдийг proxy format converter-оорhttp://user:pass@ip:portболгон хөрвүүлж, тохиргоо эсвэл файлд хадгална уу. - 2
ProxyPoolMiddleware бичих
middlewares.pyфайлдprocess_request(self, request, spider)функцийг бичиж,request.meta['proxy'] = random.choice(self.proxies)гэж оноохоор тохируулна уу. - 3
Үүнийг суурилагдсаны өмнө бүртгүүлэх
settings.pyдоторDOWNLOADER_MIDDLEWARESруу'myproject.middlewares.ProxyPoolMiddleware': 740-ийг нэмж,CONCURRENT_REQUESTS_PER_IP = 2гэж тохируулна уу. - 4
Сэлгэлтийг шалгах
scrapy shellэсвэл богино туршилтын spider ашигланhttps://proxyv4.com/api/my-ipрүү хэд хэдэн удаа хүсэлт илгээж, ирж буй IP таны сан дахь хаягуудаар солигдож байгаа эсэхийг шалгана уу.
Түгээмэл асуултууд
800 эрэмбэтэй миний прокси middleware 407 алдаа аваад байна. Яагаад?
800 эрэмбэд энэ нь HttpProxyMiddleware (750)-ийн дараа ажилладаг тул таны прокси URL дахь user:pass нь хэзээ ч Proxy-Authorization толгой мэдээлэл болж хувирахгүй. Middleware-ээ 750-аас өмнө, жишээ нь 740 рүү шилжүүлнэ үү.
Зөвхөн нэг хүсэлтэд прокси тохируулж болох уу?
Тийм. Request үүсгэхдээ meta={'proxy': 'http://user:pass@ip:port'} гэж дамжуулахад л суурилагдсан middleware зөвхөн тэрхүү хүсэлтийн нэвтрэлтийг зохицуулна.
Сая сая хуудас татахад датаны хязгаарт тулах уу?
ProxyV4-ийн хувийн IPv4 эсвэл статик ISP проксид үгүй; хоёулаа хязгааргүй дататай. Бодит хязгаарлалт нь зорилтот сервер танд хэр хурдан татахыг зөвшөөрөхөөс хамаарна.
Эх сурвалж
Scrapy таталтад зориулсан хязгааргүй дататай статик IP-үүд
7 улс дахь хувийн IPv4 болон АНУ, Вьетнам дахь статик ISP, нэг IP-ээс эхлээд том сан хүртэл, шууд тооцоологдох бөөн үнийн хөнгөлөлттэй.
АНУ-ын шууд үнийг шалгах