有个需求场景是这样的,使用Redis控制scrapy运行的数量。当系统的后台设置为4时,只允许scapry启动4个任务,多余的任务则进行排队。
最近相信很多小伙伴都很有兴趣了解这个话题,因为最近这个话题也很热门。既然大家都想知道,我也在网上搜集了一些相关的信息,大家分享一下。