Proksi za Scrapy: meta['proxy'], mpangilio wa middleware na mzunguko
Na Timu ya Uhandisi ya ProxyV4 · Updated:
Katika Scrapy, proksi huwekwa kwa kila ombi kupitia request.meta['proxy'] = 'http://user:pass@ip:port', na HttpProxyMiddleware iliyojengwa ndani (mpangilio 750) hubadilisha sehemu ya user:pass kuwa kichwa cha Proxy-Authorization. Ongeza downloader middleware ndogo inayofanya kazi kabla yake, katika 740, na kila ombi linalotolewa na spider yako linaweza kuchagua IP kutoka kwenye kundi lako la ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- IP 1US$ 1.85
- IP 3+US$ 1.70
- IP 10+US$ 1.60
- IP 25+US$ 1.50
- IP 50+US$ 1.40
- IP 100+US$ 1.30
- IP 200+US$ 1.20
- IP 500+US$ 1.10
- IP 1US$ 1.85
- IP 3+US$ 1.70
- IP 10+US$ 1.60
- IP 25+US$ 1.50
- IP 50+US$ 1.40
- IP 100+US$ 1.30
- IP 200+US$ 1.20
- IP 500+US$ 1.10
Kwa nini nambari ya middleware ni muhimu
Downloader middleware hufanya kazi kwa mpangilio unaopanda wakati wa kutoka. HttpProxyMiddleware katika 750 husoma meta['proxy'], huondoa vitambulisho kutoka kwenye URL na kuandika kichwa cha uthibitishaji. Ikiwa middleware yako itaweka proksi baadaye, kwa mfano katika 800, ile iliyojengwa ndani itakuwa tayari imefanya kazi, vitambulisho havitageuzwa kamwe, na proksi itajibu 407. Kusajili yako katika 740 huifanya iwe ya kwanza.
| Mpangilio | Thamani inayopendekezwa | Matokeo |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Hutuma ombi hilo kupitia proksi ya ProxyV4 iliyotolewa |
| Mpangilio wa middleware yako | 740 | Hufanya kazi kabla ya HttpProxyMiddleware (750), ili maelezo ya kuingia yaweze kusimbwa |
CONCURRENT_REQUESTS_PER_IP | 2 hadi 4 | Hupunguza maombi sambamba kwa kila IP lengwa, kikomo cha kistaarabu cha jinsi kila seva inavyopokea maombi |
AUTOTHROTTLE_ENABLED | True | Huruhusu Scrapy kurefusha au kufupisha ucheleweshaji kulingana na kasi ya majibu ya tovuti lengwa |
Muhtasari wa middleware ya mzunguko
- Soma orodha ya proksi kutoka kwenye mipangilio katika
from_crawler()na uiweke kwenye instance ya middleware - Katika
process_request(), wekarequest.meta['proxy'] = random.choice(self.proxies)isipokuwa kama ombi tayari lina proksi - Wakati jibu linaporudi likiwa
429au503, lirudie tena kwa kutumia proksi tofauti kutoka kwenye kundi badala ya ile iliyokataliwa punde tu - Changanya
DOWNLOAD_DELAY = 1.0naRANDOMIZE_DOWNLOAD_DELAY = Trueili nafasi kati ya maombi iweze kutofautiana badala ya kupiga kwa mpigo uleule kama metronome
Kupima ukubwa wa kundi
Crawl ya Scrapy inaweza kutuma maombi mengi kwa dakika, kwa hivyo idadi ya IP huamua jinsi kila moja inavyotumiwa kwa upole. Ukiwa na ProxyV4 hakuna oda ya chini zaidi na bei kwa kila IP hupungua kadiri kiasi kinavyoongezeka, na trafiki ya IPv4 ya faragha haipimwi, hivyo crawl kubwa inagharimu sawa na ndogo kwa kipimo data. Kila IP hutumiwa na mteja mmoja tu, kwa hivyo sifa yake inaakisi crawl yako mwenyewe na si ya mtu mwingine yeyote. Kwa ajili ya kupanga idadi ya maombi ya crawl na ustaarabu, tazama mwongozo wa web scraping.
Hatua kwa hatua
- 1
Andaa URL za proksi
Geuza mistari yako ya ProxyV4 ya
ip:port:user:passkuwahttp://user:pass@ip:portukitumia kigeuzi cha muundo wa proksi na uihifadhi kwenye mipangilio au faili. - 2
Andika ProxyPoolMiddleware
Katika
middlewares.py, tekelezaprocess_request(self, request, spider)ili iwekerequest.meta['proxy'] = random.choice(self.proxies). - 3
Isajili kabla ya ile iliyojengwa ndani
Katika
settings.py, ongeza'myproject.middlewares.ProxyPoolMiddleware': 740kwenyeDOWNLOADER_MIDDLEWARESna uwekeCONCURRENT_REQUESTS_PER_IP = 2. - 4
Thibitisha mzunguko
Leta
https://proxyv4.com/api/my-ipmara chache ukitumiascrapy shellau spider fupi ya majaribio na uhakikishe kuwa IP iliyoripotiwa inabadilika katika kundi lako lote.
Maswali yanayoulizwa mara kwa mara
Middleware yangu ya proksi yenye kipaumbele cha 800 inapata hitilafu za 407. Kwa nini?
Katika 800 inafanya kazi baada ya HttpProxyMiddleware (750), kwa hivyo user:pass katika URL ya proksi yako haibadilishwi kamwe kuwa kichwa cha Proxy-Authorization. Sogeza middleware yako chini ya 750, k.m. 740.
Je, ninaweza kuweka proksi kwa ajili ya ombi moja tu?
Ndiyo. Pitisha meta={'proxy': 'http://user:pass@ip:port'} wakati unapounda Request; middleware iliyojengwa ndani hushughulikia uingiaji kwa ombi hilo pekee.
Je, crawl ya mamilioni ya kurasa itafikia kikomo cha kipimo data?
Hapana kwenye proksi za ProxyV4 za IPv4 za faragha au ISP tuli; zote mbili zina kipimo data kisicho na kikomo. Kikomo halisi kinategemea kasi ambayo tovuti lengwa inakuruhusu kufanya crawl.
Vyanzo
IP tuli zisizopimwa kwa ajili ya crawl za Scrapy
IPv4 ya faragha katika nchi 7 pamoja na ISP tuli nchini Marekani na Vietnam, kuanzia IP moja hadi kundi kubwa, kukiwa na bei ya moja kwa moja kulingana na idadi.
Angalia bei za moja kwa moja za US