02 2017 档案

Linux下挂载新硬盘

摘要：1. 首先，需要检查下哪些盘挂载了，哪些是空盘： 2. 为空盘进行gpt分区操作（这会清空将要挂载的盘的所有数据）：参考百度经验：http://jingyan.baidu.com/article/7c6fb4287c853880652c9067.html 阅读全文

posted @ 2017-02-27 15:34 蓝鲸王子阅读(2775) 评论(0) 推荐(0) 编辑

远程编写+调试服务器上的Python程序

摘要：原帖参见（需自备梯子）：https://webcache.googleusercontent.com/search?q=cache:1htdR2EXj5wJ:https://www.digitalocean.com/community/tutorials/how-to-set-up-a-jupyte 阅读全文

posted @ 2017-02-16 17:31 蓝鲸王子阅读(5737) 评论(2) 推荐(0) 编辑

记一次CUDA编程任务

摘要：这个月6号开始，着手解决一个具有实际意义的计算任务。任务数据有9879896条，每条包含30个整数，任务是计算每两条数据之间的斯皮尔相关系数及其P值。原始数据只有500+MB，因此我并不认为这是个多么大的计算任务。随后稍加计算，我还是很惊呆的，要计算(9879896×9879895)÷2≈4.88亿阅读全文

posted @ 2017-02-16 10:12 蓝鲸王子阅读(9324) 评论(4) 推荐(3) 编辑

CUDA核函数调用基础数学API的一个奇葩情况

摘要：今天测试在核函数在GTX 950M上运行的情况，核函数中的pow竟然出不来结果。。。在网上查了一圈，说是要改成powf，结果确实就好了。但是，奇怪的是，CUDA版本都是最新的8.0，之前在GT 720上、K80上运行的情况是pow函数都可以，到笔记本上就得换成powf（powf是CUDA的内置函数阅读全文

posted @ 2017-02-14 15:56 蓝鲸王子阅读(3028) 评论(1) 推荐(0) 编辑

Python多线程常用包对比

摘要：python由于本身的特质，不能实现真正的多核并行运算，但是有一些第三方库较好地模拟了在多核环境下的并行运算，例如pp包以及multiprocessing，那么哪种更能充分利用多核心呢？这里我简单做下对比，首先放上结论：multiprocessing是最优秀的。在实测过程中，我的CPU是4核8线阅读全文

posted @ 2017-02-11 11:25 蓝鲸王子阅读(1791) 评论(0) 推荐(0) 编辑

Python threadpool传递参数

摘要：threadpool模块是一个很老的实现python线程池的模块，pypi已经建议用multiprocessing代替它了，但是，它使用的便捷性还是征服了一批忠实用户。 threadpool模块实现多线程只需要如下几行代码：它通过传入一个参数组来实现多线程，并且它的多线程是有序的，顺序与参数组中的阅读全文

posted @ 2017-02-10 20:38 蓝鲸王子阅读(5963) 评论(0) 推荐(0) 编辑

For循环中不可以嵌套RDD操作

摘要：今天犯了一个致命理解错误，Spark中的RDD Map操作只是一个计算式的传递，并不是Action，也就是在for循环中不会产生真正的计算。因此，如果for循环中出现了RDD的Map类似操作，都会引起异常，例如栈溢出等等，属于相互引用错误。把我的错误代码贴在下面，加深理解。阅读全文

posted @ 2017-02-08 19:56 蓝鲸王子阅读(4078) 评论(1) 推荐(1) 编辑