05 2017 档案
摘要：基于gevent（协程），抓取站点的所有url 说到协程，协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。 协程在执行过程中遇到阻塞时转而执行别的子程序，阻塞结束后再返回来接着执行。 在gevent里面，上下文切换是通过yielding来完成的 代码中用到requests,
阅读全文
摘要：一、spark安装 因为之前安装过hadoop，所以，在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop distributions]”，然后，点击“Download
阅读全文
