跑了个爬虫玩玩

爬完所有网页显然不现实,而试着爬了下所有首页链到的网站发现也太多…

于是决定爬*.gov.cn

当然从www.gov.cn开始爬啦

然后爬了1个小时…

妈个鸡NodeJS内存爆炸…

2个小时…

洗了个澡…

妈个鸡NodeJS非正常退出而且stderr还没有显示?

不管了这是今天的数据, 30982个网站

话说哪个土豪借我个服务器吧QAQ

Advertisements