#蓝天 - 博客园

Spark 0.9.1和Shark 0.9.1分布式安装指南

摘要：目录目录 11. 约定 12. 安装Scala 12.1. 下载 22.2. 安装 22.3. 设置环境变量 23. 安装Spark 23.1. 部署 23.2. 下载 33.3. 安装 33.4. 配置 33.4.1. 修改conf/spark-env.sh 33.... 阅读全文

posted @ 2014-05-12 09:44 #蓝天阅读(219) 评论(0) 推荐(0) 编辑

摘要： C++11已支持bind和function，之前的不支持，但可以借助boost达到同样目的。看如下两段代码： 1) 创建HDFS目录void hdfs::init(){ if (0 == hdfsExists(fs, data_dirpath.c_str()))... 阅读全文

posted @ 2014-05-08 13:07 #蓝天阅读(219) 评论(0) 推荐(0) 编辑

摘要： loadFileSystems error & ExceptionUtils错误原因分析一见 2014/5/7 C/C++程序通过hdfs.h访问HDFS，运行时遇到如下错误，会是什么原因了？（注：hadoop安装在/data/hadoop/hadoop-2.4.0，... 阅读全文

posted @ 2014-05-07 20:09 #蓝天阅读(561) 评论(0) 推荐(0) 编辑

摘要： “undefined reference to JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析如果编译时，报如下所示错误：../../third-party/hadoop/lib/libhdfs.a(j... 阅读全文

posted @ 2014-05-06 16:16 #蓝天阅读(533) 评论(0) 推荐(0) 编辑

摘要： # 本文可以从https://sourceware.org/ml/gdb/2008-02/msg00064/stl-views.gdb直接下载# 有关gdb的高级使用，请浏览：http://blog.csdn.net/Aquester/article/details/... 阅读全文

posted @ 2014-05-02 18:56 #蓝天阅读(398) 评论(0) 推荐(0) 编辑

摘要： CThriftServerHelper用于服务端，CThriftClientHelper用于客户端。IDL定义：service PackageManagerService{}服务端使用示例：CThriftServerHelper _thrift_server_help... 阅读全文

posted @ 2014-05-02 17:01 #蓝天阅读(220) 评论(0) 推荐(0) 编辑

摘要： Linux上获取CPU Core个数的实现可以通过多种手段取得CPU Core的个数，如：1) 调用系统提供的函数get_nprocs()，可以在头文件sys/sysinfo.h中发现它2) 借助系统提供的sysconf()函数：sysconf(_SC_NPROCE... 阅读全文

posted @ 2014-05-02 16:39 #蓝天阅读(820) 评论(0) 推荐(0) 编辑

摘要： string是C++标准定义的字符串类，它不但支持文本，而且支持二进制字节流。给一个string变量赋值有多种方法：1) 拷贝构造函数2) 等号赋值函数3) append成员函数4) push_back成员函数5) insert成员函数请运行下段代码，并查看它的输出... 阅读全文

posted @ 2014-05-02 10:42 #蓝天阅读(880) 评论(0) 推荐(0) 编辑

摘要：端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.nam... 阅读全文

posted @ 2014-04-29 18:45 #蓝天阅读(1218) 评论(0) 推荐(0) 编辑

摘要： #include #include #include #include #include #include #include #include #include // 读文件类class CFileReader{public: CFileReader() : _bu... 阅读全文

posted @ 2014-04-28 14:12 #蓝天阅读(731) 评论(0) 推荐(0) 编辑