2017年2月20日
用go写爬虫服务并发请求，限制并发数
摘要： java写爬虫服务，思路是线程池，任务队列，限制并行线程数即可。 go要用另一种设计思路，不能在线程层面限制，协程的异步请求，如果不作处理，并行发出所有网络请求，因网络请求数过多，会抛出异常 低版本的go可以并行执行map的操作，高版本会报异常，需要把map改为array,改起来很简单 阅读全文
posted @ 2017-02-20 19:19 cclient 阅读(3102) 评论(0) 推荐(0) 编辑