2018年9月13日
抓产品，采用多进程--perfect
摘要： 前段时间发现单进程爬虫实在是太慢太慢，有时候一天也不一定爬的完，后面就考虑到用多进程，写好程序后，试试看，速度666的。废话不多说，直接干活。 我是用的语言是ruby(当然python也是可以的，我这边就不贴python的，这边我们说ruby的)，socket这边我才用udp通讯，因为tcp速度上会 阅读全文
posted @ 2018-09-13 10:03 WangHello 阅读(236) 评论(0) 推荐(0) 编辑