随笔分类 - HADOOP
HADOOP SPARK SCALA
摘要：前言 一个多月没有写博客了，今天尝试着动笔写点。 原因很多，最重要的原因是我转行了。是的，我离开了开发岗位，走向了开发的天敌 产品经理。虽然名义上是产品经理，但是干的事情也很杂，除了不写代码，其他的都干，经常还要加个小班，所以就没那么多时间研究技术上的东西，机械键盘上已经落下了一层薄薄的灰尘。但是自
阅读全文
摘要：前言 之前 GeoTrellis 为方便用户将数据（GeoTiff 等遥感影像）导入到 backend （包含 Accumulo、File、Hadoop 等格式）中，编写了一个 ETL 类，该类的输入为用户配置好的 json 文件，其中包含数据源、数据类型、投影、瓦片类型、处理方式等等处理过程中需要
阅读全文
摘要：前言 要说清楚这个题目对我来说可能都不是一件简单的事情，我简单尝试。 研究 GIS 的人应该都清楚在 GIS 中最常用的技术是瓦片技术，无论是传统的栅格瓦片还是比较新颖的矢量瓦片，一旦将数据切好瓦片就会造成其层级固定，假如说 0 11 级，请求此层级范围内数据的时候能够正常响应，但是当用户请求超过最
阅读全文
摘要：本文介绍了如何实现 COG 模式下 ETL 的 Layer 更新操作，只要想明白原理，其实代码本就不复杂，这也是我对待码农工作的个人感悟：重要的在于编程思维、解决问题能力的培养，而不是具体的代码。
阅读全文
摘要：前言 上一篇中简单介绍了 COG 的概念和 Geotrellis 中引入 COG 的原因及简单的原理，本文为大家介绍如何在 Geotrellis 中使用 COG 来写入和读取 GeoTIFF数据。 一、写入数据——ETL 1.1 实现方案 其实这与之前的普通 ETL 操作在概念上是相似的，都是将原始
阅读全文
摘要：前言 Geotrellis 已经迭代到了 2.0 版本（截止写作此文时为 2.0.0 SNAPSHOT 版），2.0 版多了很多新的特性，其中最重要的应该就是 COG，COG 是什么鬼？刚看到时我也是一脸懵，认认真真的学习了一天，稍有体会，本文对此进行简单介绍。 一、COG 简介 1.1 什么是 C
阅读全文
摘要：前言 Geotrellis 是针对大数据量栅格数据进行分布式空间计算的框架，这一点毋庸置疑，并且无论采取何种操作，其实都是先将大块的数据切割成一定大小的小数据（专业术语为瓦片），这是分治的思想，也是分布式计算的精髓，所以使用 Geotrellis 的第一步工作就是要将数据切片（无论是存储在内存中还是
阅读全文
摘要：前言 在我刚开始接触分布式集群的时候，是自己在几台虚拟机中手动安装的 Hadoop 和 Spark ，所以当时对 Hadoop 的配置有个简单的印象 ，但是后面发现了 Cloudera 和 Ambari 之后（两个分布式集群自动管理工具），就再没有手动安装过。这就导致我用了很久的 Accumulo
阅读全文
摘要：前言 做任何事情都不是想象中的那么简单。好久没有更新技术博客了，跟最近瞎忙有很大关系，虽说是瞎忙也抽空研究了些技术。 主要是前端渲染，像原生的WebGL和Cesium。WebGL写了几篇博客，自我感觉还可以。Cesium是一个封装好的WEB端3D Earth框架，有了WebGL的基础之后切换到Ces
阅读全文
摘要：前言 本文所涉及技术与Geotrellis并无太大关系，仅是矢量瓦片前端渲染和加载技术，但是其实我这是在为Geotrellis的矢量瓦片做铺垫。很多人可能会说，Geotrellis为什么要搞矢量瓦片，这不就是前端展示吗。其实不然，首先Geotrellis可以用分布式技术进行快速矢量瓦片切割，当然这不
阅读全文
摘要：前言 在上两篇文章中我介绍了如何直接将Geotiff（一个或者多个）发布为TMS服务。这中间其实我遇到了一个问题，并且这个问题伴随Geotrellis的几乎所有使用案例，下面我详细讲述。 一、问题描述 无论在将Tiff文件使用Geotrellis导入Accumulo中还是直接将其发布为TMS服务，其
阅读全文
摘要：前言 在上一篇文章中我讲了如何直接将Geotiff文件发布为TMS服务，在其中只讲了单幅Geotiff的操作，其实单幅这种量级的数据对Geotrellis来说就是杀鸡焉用牛刀，Geotrellis针对的是大数据量的操作。在进行完单幅Geotiff的操作后，就去出差了一周，这一周也没闲着，稍有空隙便在
阅读全文
摘要：前言 传统上我们需要先将Tiff中存储的影像等数据先切割成瓦片，而后再对外提供服务。这样的好处是服务器响应快，典型的用空间来换时间的操作。然而这样造成的问题是空间的巨大浪费，一般情况下均需要存储1 18级左右的瓦片数据。我一直在思考有没有办法不存储瓦片而直接发布TMS服务，当然这样响应速度肯定是要受
阅读全文
摘要：上一篇文章介绍了如何使用Geotrellis渲染单波段的栅格数据，已然很是头疼，这几天不懈努力之后工作又进了一步，整清楚了如何使用Geotrellis将多个（3个）波段的栅格数据渲染成真彩色，废话不多说，进入正题。
阅读全文
摘要：目录 1. "前言" 2. "复杂原因及思路分析" 3. "实现过程" 4. "总结" 一、前言 & 160; & 160; & 160; & 160;今天我们来研究一下这个看似简单的问题，在地理信息系统中颜色渲染应当是最基本的操作和功能，比如我们将一幅Landsat数据拖拽到Arcgis或者QGi
阅读全文
摘要：目录 1. "前言" 2. "前台实现" 3. "后台实现" 4. "总结" 一、前言 & 160; & 160; & 160; & 160;看到这个题目有人肯定会说这有什么可写的，最简单的我只要用文件系统一个个查找、打开就可以实现，再高级一点我可以提取出所有数据的元数据，做个元数据管理系统就可以实
阅读全文
摘要：目录 1. "前言" 2. "升级spark到2.0" 3. "将geotrellis最新版部署到spark2.0（CDH）" 4. "总结" 一、前言 & 160; & 160; & 160; & 160;事情总是变化这么快，前面刚写了一篇博客介绍如何将geotrellis移植导CDH中（见 "g
阅读全文
摘要：目录 1. "前言" 2. "整体介绍" 3. "分步安装介绍" 4. "总结" 一、前言 & 160; & 160; & 160; & 160;周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群，其中各种辛酸无以言表，唯有泪两行。总体是安装的很慢，但
阅读全文
摘要：Geotrellis系列文章链接地址 "http://www.cnblogs.com/shoufengwei/p/5619419.html" 目录 1. "前言" 2. "问题探索" 3. "采样说明" 4. "实现方案" 5. "总结" 一、前言 & 160; & 160; & 160; & 16
阅读全文
摘要：要想搞明白Geotrellis的数据处理情况，首先要弄清楚数据的存放，Geotrellis将数据存放在Accumulo中。 Accumulo是一个分布式的Key Value型NOSQL数据库，官网为（https://accumulo.apache.org/），在使用Ambari安装hadoop集群一
阅读全文
