
.report_system占用一半内存
.report_system占用一半内存
2022总结
npm i 报错
2021一年回顾
记录一下在win10下用virtualbox和vagrant搭建虚拟机开发环境的过程
2020年整年经历回顾与2021年展望
最近业余时间在用scrapy来爬网上的一些资源(都是公开的),为了便于管理和界面优化就用了scrapyweb。
最近在爬一个网站。有5万条左右的数据,为了友好期间,把间隔时间设置为5s,这个算下来总共要花好几天的时间。中间由于网络原因中断过几次,每次都得从头开始爬。所以就想着用断点续爬。正好scrapyd-redis 满足这个需求。
之前空余时间研究过爬虫,把自己入门的代码记录下
记录一下mongodb 安装过程