摘要：
基于Centos7安装过程中常用工具及操作技术总结回顾。 操作技巧： tab键，命令自动补全 xshell 默认： Ctrl + Insert （复制） Shift + Insert (粘贴） systemctl 服务操作命令： systemctl start postfix.service 启动一 阅读全文
posted @ 2016-08-21 21:09 天戈朱 阅读(647) 评论(0) 推荐(0) 编辑
摘要：
client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 阅读全文
posted @ 2016-08-21 17:06 天戈朱 阅读(2609) 评论(0) 推荐(0) 编辑
摘要：
早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文
posted @ 2016-08-21 16:09 天戈朱 阅读(16562) 评论(2) 推荐(2) 编辑
摘要：
在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable，其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生， 阅读全文
posted @ 2016-08-21 11:13 天戈朱 阅读(6504) 评论(2) 推荐(4) 编辑
摘要：
分析文本内容基本的步骤：提取文本中的词语 -> 统计词语频率 -> 词频属性可视化。词频：能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。词云：让词语的频率属性可视化，更加直观清晰。文本下载地址（http://www.yuandn.com/booktxt/59797/#do 阅读全文
posted @ 2016-08-18 22:51 天戈朱 阅读(1543) 评论(0) 推荐(0) 编辑
摘要：
第四章通过REmap包完成基于map分布图示例，前面提到REmap基于Echart2.0, 一方面在移动终端适应效果差，另一方面REmap提供的热力图仅支持全国及省市大版块map，基于上面的原因，参考 http://echarts.baidu.com/examples.html#chart-type 阅读全文
posted @ 2016-08-18 22:43 天戈朱 阅读(4114) 评论(0) 推荐(0) 编辑
摘要：
工作笔记记录，会持续更新.... 目录： apply tapply lapply sapply merge substr、substring、strsplit、unlist、paste、paste0、nchar table apply函数： apply：apply的中文意思是应用，这个函数的意思是通 阅读全文
posted @ 2016-08-17 08:52 天戈朱 阅读(864) 评论(0) 推荐(0) 编辑
摘要：
在我的实际工作中，数据来源一方面是关系型数据库MS SqlServer, 别一方面是HBase。本节主要介绍通过RODBC访问MS SqlServer 安装配置，参见资料（https://msdn.microsoft.com/en-us/library/hh568454(v=sql.110).asp 阅读全文
posted @ 2016-08-17 06:52 天戈朱 阅读(2953) 评论(0) 推荐(1) 编辑
摘要：
前几章对R语言的运行原理、基本语法、数据类型、环境部署等基础知识作了简单介绍，本节将结合具体案例进行验证测试。 案例场景：从互联网下载全国三甲医院数据，以地图作为背景，展现各医院在地图上的分布图。全国三甲医院数据来源 http://www.wxmp.cn/cms/detail-51610-23480 阅读全文
posted @ 2016-08-16 23:38 天戈朱 阅读(6805) 评论(1) 推荐(0) 编辑