Scrapy框架中如何更改下载中间件里的headers?
【Scrapy框架中如何更改下载中间件里的headers?】大家好 , 我是我是皮皮 。
一、前言
前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个关于Scrapy框架中如何更改下载中间件里的headers问题 , 这里拿出来给大家分享下 , 一起学习 。
文章图片
二、解决过程
如果只是单纯的一次性添加 , 那么可以使用下面这个方式 , 直接在settings.py文件中设置:
文章图片
但是他想动态的修改 , 这样的话 , 单纯的修改就有点力不从心了 。
文章图片
不过不慌 , 这个这里给出【小王】大佬的解答 , 一起来看看吧 , 下面是他给的一个示例代码 , 下面这个代码写在middleware.py文件 。
fromfake_useragentimportUserAgentclassRandomUserAgentMiddleware:defprocess_request(self,request,spider):request.headers.setdefault(''User-Agent'',UserAgent().chrome)
下面这个代码写在settings.py文件里边 , 如下所示:
settings.pyDOWNLOADER_MIDDLEWARES={#'anjuke.middlewares.RandomProxyMiddleware':543,'anjuke.middlewares.RandomUserAgentMiddleware':400,}
文章图片
三、总结
大家好 , 我是皮皮 。 这篇文章基于粉丝提问 , 针对Scrapy框架中如何更改下载中间件里的headers问题 , 给出了具体说明和演示 , 顺利的帮助粉丝解决了问题 。
最后感谢粉丝【麦当】提问 , 感谢【dcpeng】和【小王】大佬给出的示例和代码支持 。
小伙伴们 , 快快用实践一下吧!如果在学习过程中 , 有遇到任何问题 , 欢迎加我好友 , 我拉你进Python学习交流群共同探讨学习 。
相关经验推荐
- 传奇世界:法师梦中的终极武器,记忆中那些经典武器
- 穿越火线:挑战模式中的征服点数,究竟是否该日限
- 十殿阎罗十殿阎罗sp张蛤通关稳中稳定性评分推荐
- 1竞技DOTA2:刀塔明星玩家遍布世界 盘点圈外名人中的铁血刀斯林
- DNF:附魔还能出现失败?红眼泰玛特项链中招,玩游戏第一次见到
- @云裳羽衣手游官微宣布中止停服流程
- dota2受教杯高校赛异常火热,中南大学惨被电子科技大学零封
- msi季中赛lpl赛区有几支队伍参赛呢?
- 中路的希望,比妲己简单,下个赛季还将加强
- 真的能做到!在初代《毁灭战士》中运行《我的世界》