照片做视频的网站网站优化需求

在scrapy中使用scrapy-rabbitmq-scheduler会出现报错

ModuleNotFoundError: No module named 'scrapy.utils.reqser'原因是新的版本的scrapy已经摒弃了该方法,但是scrapy-rabbitmq-scheduler 没有及时的更新,所以此时有两种解决方法

方法一.将scrapy回退至旧版本,找到对应的旧版本

方法二.更改scrapy-rabbitmq-scheduler的源码,我已经重新发了新版本的包

pip install scrapy-rabbitmq-task

然后再次尝试运行代码,发现代码已正常

其他配置都不改变

在spider爬虫文件文件添加

    # 请求队列queue_name = 'scrape'# 结果队列items_key = 'scrape.result'custom_settings = {"COOKIES_ENABLED": "False",# 指定重试的http状态码(重新加回队列重试)"SCHEDULER_REQUEUE_ON_STATUS" :[500],'SCHEDULER': "scrapy_rabbitmq_scheduler.scheduler.SaaS",'RABBITMQ_CONNECTION_PARAMETERS': 'amqp://acount:111@2024@127.0.0.1:5672/?heartbeat=0','MEDIA_ALLOW_REDIRECTS': True,'RABBITMQ_CONFIRM_DELIVERY': False,'ALLOW_REDIRECTS': True,'RETRY_ENABLED': True,'RETRY_TIMES': 5,'DOWNLOAD_TIMEOUT': 50,'RETRY_HTTP_CODES': [429, 304, 500, 503],# 指定下载器中间件, 确认任务是否成功"DOWNLOADER_MIDDLEWARES": {'scrapy_rabbitmq_scheduler.middleware.RabbitMQMiddleware': 999},# 指定item处理方式, item会加入到rabbitmq中'ITEM_PIPELINES': {'scrapy_rabbitmq_scheduler.pipelines.RabbitMQPipeline': 301,},'FILTER_EMPTY_ITEM': True,}

问题解决

注:我这里采用版本是Scrapy==2.11.2