scrapyd-redis 断点续爬

最近在爬一个网站。有5万条左右的数据,为了友好期间,把间隔时间设置为5s,这个算下来总共要花好几天的时间。中间由于网络原因中断过几次,每次都得从头开始爬。所以就想着用断点续爬。正好scrapyd-redis 满足这个需求。