
最近业余时间在用scrapy来爬网上的一些资源(都是公开的),为了便于管理和界面优化就用了scrapyweb。
最近业余时间在用scrapy来爬网上的一些资源(都是公开的),为了便于管理和界面优化就用了scrapyweb。
最近在爬一个网站。有5万条左右的数据,为了友好期间,把间隔时间设置为5s,这个算下来总共要花好几天的时间。中间由于网络原因中断过几次,每次都得从头开始爬。所以就想着用断点续爬。正好scrapyd-redis 满足这个需求。
之前空余时间研究过爬虫,把自己入门的代码记录下
记录一下mongodb 安装过程
记录一个查找react ssr问题的过程。
记录一次阿里云服务器远程连接登陆不上问题的排查过程。
大学时候买的笔记本被淘汰了,想了一下安装个centos8,当成服务器用,用起来一点都不卡。
将iredmail服务器上面的邮件全部备份到本地。
闲暇时光,回顾一下自己的编程历程
老板有个好想法,需要大量的邮箱去注册账号,开始的思路是想让我写个批量注册163邮箱的脚本,我用webdriver写了一部。老板嫌慢,问有没更好的方法,我就说自己搭建一个邮箱服务器,主要的作用收邮件,不发邮件。