05 2016 档案

Parallel并行化编程

摘要：在很多场景中我们需要通过并行化的方式来提高程序运行的速度，比较典型的需求就是并行下载。前期遇到一个需求是要批量下载瓦片，每次大概下载上百万个瓦片，要想提高瓦片的下载速度，只能通过并行化的方式，下面把我解决此问题的思路和代码总结如下：第一步确定线程个数（ThreadCount），这个要根据网络情况和阅读全文

posted @ 2016-05-29 23:08 shoufengwei 阅读(901) 评论(0) 推荐(1) 编辑

geotrellis使用（六）Scala并发（并行）编程

摘要：本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的阅读全文

posted @ 2016-05-16 10:25 shoufengwei 阅读(2705) 评论(0) 推荐(1) 编辑

geotrellis使用（五）使用scala操作Accumulo

摘要：要想搞明白Geotrellis的数据处理情况，首先要弄清楚数据的存放，Geotrellis将数据存放在Accumulo中。 Accumulo是一个分布式的Key Value型NOSQL数据库，官网为（https://accumulo.apache.org/），在使用Ambari安装hadoop集群一阅读全文

posted @ 2016-05-10 17:00 shoufengwei 阅读(2570) 评论(4) 推荐(0) 编辑

geotrellis使用（四）geotrellis数据处理部分细节

摘要：前面写了几篇博客介绍了Geotrellis的简单使用，具体链接在文后，今天我主要介绍一下Geotrellis在数据处理的过程中需要注意的细节，或者一些简单的经验技巧以供参考。一、直接操作本地Geotiff 二、Geotiff数据处理需要注意的细节如果需要将geotiff数据切割并上传到集群首先需阅读全文

posted @ 2016-05-07 11:50 shoufengwei 阅读(3266) 评论(0) 推荐(2) 编辑