#蓝天 - 博客园

配置HDFS HttpFS和WebHDFS

摘要： HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端... 阅读全文

posted @ 2016-10-28 18:15 #蓝天阅读(2915) 评论(0) 推荐(0) 编辑

摘要：目录目录 11. 约定 12. 安装jdk 13. 安装maven 14. 网络配置 24.1. eclipse 34.2. maven 35. 从hbase官网下载源代码包： 46. eclipse导入hbase源代码 47. 编译hbase-thrift 68. ... 阅读全文

posted @ 2016-10-25 17:26 #蓝天阅读(636) 评论(0) 推荐(0) 编辑

摘要：如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。ERROR cluster.YarnClientSche... 阅读全文

posted @ 2016-10-13 11:01 #蓝天阅读(909) 评论(0) 推荐(0) 编辑

摘要：优点：可支持海量访问的频率控制，只需要增加Redis机器，单个Redis节点（只占用一个cpu core）即可支持10万/s以上的处理。基于IP频率限制是种常见需求，基于Redis可以十分简单实现对IP的频率限制，具体手段为利用Redis的key过期和原子加减两个特性... 阅读全文

posted @ 2016-09-08 00:08 #蓝天阅读(431) 评论(0) 推荐(0) 编辑

摘要： #include #include #include // g++ -g -o x x.cpp -D__STDC_FORMAT_MACROS -std=c++11int main(){ int64_t a = 32; //printf("%... 阅读全文

posted @ 2016-08-25 13:28 #蓝天阅读(3265) 评论(0) 推荐(0) 编辑

摘要： # 相关链接：https://cmake.org/cmake/help/v3.0/module/CheckCXXCompilerFlag.htmlinclude(CheckCXXCompilerFlag)CHECK_CXX_COMPILER_FLAG("-std=... 阅读全文

posted @ 2016-08-25 13:02 #蓝天阅读(2027) 评论(0) 推荐(0) 编辑

摘要：用于分析指定进程是否存在内存泄漏，使用ps等命令统计开销相对较大，直接读取/proc文件系统则高效许多。格式（利用了awk给外部变量赋值，请参考博文http://blog.chinaunix.net/uid-20682147-id-3024853.html）：eval... 阅读全文

posted @ 2016-07-11 11:43 #蓝天阅读(334) 评论(0) 推荐(0) 编辑

摘要：除非明确说明，本文内容仅针对x86/x86_64的Linux开发环境，有朋友说baidu不到，开个贴记录一下（加粗字体是关键词）：用“-Wl,-Bstatic”指定链接静态库，使用“-Wl,-Bdynamic”指定链接共享库，使用示例：-Wl,-Bstatic -lm... 阅读全文

posted @ 2016-07-08 15:44 #蓝天阅读(2704) 评论(0) 推荐(0) 编辑

摘要：如果同时配置写AOF和RDB两种文件，但在redis启动时，只会加载AOF，除非配置只写RDB，才会加载RDB文件，也因此AOF文件必须是全量数据，所以会越来越大，这缺点也将是redis优化的一个方向，即AOF只保存相对于RDB的增量，这样AOF文件将大大减小。相关源... 阅读全文

posted @ 2016-06-08 17:55 #蓝天阅读(779) 评论(0) 推荐(0) 编辑

摘要：方法1：使用iotop工具这是一个python脚本工具，使用方法如：iotop -o方法2：使用工具dmesg使用dmesg之前，需要先开启内核的IO监控：echo 1 >/proc/sys/vm/block_dump或sysctl vm.block_dump=1然后... 阅读全文

posted @ 2016-06-01 17:55 #蓝天阅读(5546) 评论(0) 推荐(0) 编辑