摘要：
刚看一下，我的上一篇博客竟然是在8.10写的，到今天已经差不多40天了，时间过的可真快，最近太忙，一直没时间整理看过的东西，索性这会没事随便写点。 我的专业是地图学与地理信息，听这个名字就知道少不了要与地理数据打交道，我用spark一般也是处理地理数据... 阅读全文
摘要：
昨天在yarn上提交spark任务一直出现一个错误INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/172.16.50.131:9000. Already tried ... 阅读全文
摘要：
今天使用sublime发现导入第三方库的时候死活找不到，而我在REPL 中则完全没有问题，最终发现两个用的不是同一个解释器，也就是说我要用自己安装的python解释器而不是sublime默认的，那么如何修改就成了问题了，查找资料发现下面方法，经测试没有问题T... 阅读全文
摘要：
今天刚搭建好spark的集群环境，在打开本地文件的时候遇到下面这样的错误 Lost task 0.0 in stage 10.0 (TID 17, slave1): java.io.FileNotFoundException程序都能运行出结果，但就是会报错... 阅读全文
摘要：
2016.8.10其实北京一年，我也一直在考虑我回所到底研究什么方向，但都只是停留在想想的层次，最终也没什么结果，回来老师问了我的想法说，学分布式计算吧，读博也可以，找工作也好找，文章也好发，我一想，这感情好啊，既符合我搞开发的兴趣，文章也不难发，毕业了还有... 阅读全文
摘要：
最近在用Docker布署hadoop，要将文件上传到HDFS首先文件得在Docker容器中吧，网上提供的方法差不多有三种1.用-v挂载主机数据卷到容器内2.直接在主机上拷贝到容器物理存储系统3.用输入输出符具体方法这篇文章写的很详细：http://blog.... 阅读全文
摘要：
接着上一次的操作，我们来继续配置hadoop前面的操作请看这儿5.hadoop配置（1）core-site.xml配置打开core-site.xml文件(nano core-site.xml) hadoop.tmp.dir ... 阅读全文
摘要：
1.安装Docker 安装Docker的方法这里不再详述，根据自己的操作系统在网上有一大堆教程。今天我们的主要任务是在DOCKER上布署HADOOP。 2.下载 ubutun镜像docker pull ubuntu:14.04这条命令的作用是从Docker仓... 阅读全文
摘要：
Examples Generating Excel Documents Using Python’s xlwtHere are some simple examples usingPython’s xlwt library to dynamically generat... 阅读全文
摘要：
文章转自：http://www.cnblogs.com/xcsn/p/3413074.html原文1：http://www.cnblogs.com/silence516/archive/2013/01/25/2876611.html原文2：http://www.cnb... 阅读全文