随笔分类 - 大数据
摘要:需提前部署HBase集群,HBase环境搭建请查看文章https://www.cnblogs.com/zhangyongli2011/p/12034628.html 本文基于10.1.1 win版本supermap-idesktopx-10.1.1-0104-5062-84288-win64-bin
阅读全文
摘要:本文结合文章 "《SuperMap流数据应用技术方案》" ,使用SuperMap iPortal实时流数据接入数据上图APP中 iPortal软件下载地址(本文使用10.0.1 win64位): http://support.supermap.com.cn/DownloadCenter/Downlo
阅读全文
摘要:流数据应用技术方案针对流数据应用场景,针对流数据的海量、多源、持续等特征,进行持续地获取相关的动态位置,以及持续地分析、处理和挖掘。 本章沿用基于单机SuperMap iServer环境,介绍流数据处理的整个过程。所使用到的工具和前端展示代码请提前进行下载 iServer软件下载地址(本文使用10.
阅读全文
摘要:本文档环境基于ubuntu16.04版本,如果最终不使用SuperMap产品 ,可以不配置geomesa-hbase_2.11-2.2.0-bin.tar.gz 相比1.0版本,升级hadoop2.7.3版本、geomesa-hbase升级为2.11-2.2.0版本 (转发请注明出处:http://
阅读全文
摘要:背景 当数据量大时,通过浏览器上传可能速度较慢,可以使用以下两种方式进行数据导入。 方法一(推荐) 1.访问k8s主页(31234端口) 找到所创建的微服务的命名空间(例如icloud-native-xxx)选择“持久化存储卷声明”,找到“pvc-gisapplication-data”开头的,点击
阅读全文
摘要:一、准备阶段 三台ubuntu系统机器 ip | 计算机名 | 192.168.2.132 | master 192.168.2.133 | slave1 192.168.2.134 | slave2 下载: 二、配置JDK 2.1配置JAVA环境变量 解压jdk 8u201 linux x64.t
阅读全文
摘要:在介绍HDFS读写流程时,先介绍下Block副本放置策略。 Block副本放置策略 第一个副本:放置在上传文件的DataNode;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点。 第二个副本:放置在与第一个副本不同的机架的节点上。 第三个副本:与第二个副本相同机架的节点。 更多副本:
阅读全文
摘要:Hadoop项目背景简介 2003 2004年,Google公开了部分GFS个Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年的业余时间,实现了DFS和Mapreduce机制,一个微缩版:Nutch 名字来源于Doug Cutting儿子的玩具大象 Hadoop于2005
阅读全文
摘要:本文档环境基于ubuntu16.04版本,(转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 1. 基础环境搭建 基础环境搭建请参考 "上一篇文档:Hadoop集群+Spark集群搭建(一篇文章就够了)" . 2. 软件准备
阅读全文
摘要:本文档环境基于ubuntu16.04版本,(转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 一、准备 1.1 软件版本 Ubuntu 16.04.6 (ubuntu 16.04.6 server amd64.iso) JDK
阅读全文
摘要:本文档环境基于ubuntu14.04版本,如果最终不使用SuperMap iServer 9D ,可以不配置geomesa hbase_2.11 2.0.1 bin.tar.gz (转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢
阅读全文