摘要：
一、安装ipython下载ipython， https://pypi.python.org/packages/source/i/ipython/ipython-2.2.0.tar.gz#md5=b91d3724f655a8e16d022772f696cfd5cd /app/softwares/ipy... 阅读全文
摘要：
因为Spark是内存当中的计算框架，集群中的任何资源都会让它处于瓶颈，CPU、内存、网络带宽。通常，内存足够的情况之下，网络带宽是瓶颈，这时我们就需要进行一些调优，比如用一种序列化的方式来存储RDD来减少内存使用，这边文章就讲两种方式，数据序列化和内存调优，接下来我们会分几个主题来谈论这个调优问题。... 阅读全文
摘要：
在Java代码中通过JNI调用C函数的步骤如下：第一步：编写Java代码第二步：编译Java代码(javac Java文件)第三步：生成C代码头文件(javah java类名，自动生成)第四步：编写C代码(实现C代码头文件里面的函数)第五步：生成C共享库(使用工具编译生成C共享库，win下面为dll... 阅读全文
摘要：
一、rrdtool安装1.1 安装依赖包由于rrdtool依赖的包比较多，而且包之间也存在依赖，故使用yum安装由于服务器无法联网，故使用iso文件创建本地yum源，方法见下：（1）创建iso存放目录和挂载目录mkdir /mnt/iso mkdir /mnt/cdrom（2）将iso镜像文件上传到... 阅读全文
摘要：
本文转自http://www.cnblogs.com/Scott007/p/3889959.html1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn... 阅读全文