geotrellis使用（五）使用scala操作Accumulo

    要想搞明白Geotrellis的数据处理情况，首先要弄清楚数据的存放，Geotrellis将数据存放在Accumulo中。

    Accumulo是一个分布式的Key Value型NOSQL数据库，官网为（https://accumulo.apache.org/），在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo。

    Accumulo以表来分区存放数据，结构为Key Value，其中Key又包含RowID和Column，Column又包含Family、Qualifier、Visibility。

    闲话莫谈，首先介绍一下如何在accumulo shell中操作Accumulo。

    1、进入accumulo shell控制台

    accumulo shell -u [username]          

    username就是具有操作accumulo的用户

    2、查看所有表

    tables

    3、创建表

    createtable mytable

    4、删除表

    deletetable mytable

    5、扫描表，查看数据

    scan

    6、插入数据 插入数据的时候要在当前表的工作域中

    insert row1 colf colq value1

    只要rowID family qualifier有一个不重复即可，如果重复会覆盖掉原来的value。

    7、切换表

    table mytable

　

    下面介绍一下如何使用Scala语言操作Accumulo，也比较简单，先贴出全部代码

object Main {

  val token = new PasswordToken("pass")
  val user = "root"
  val instanceName = "hdp-accumulo-instance"
  val zooServers = "zooserver"
  val table = "table"

  def main(args: Array[String]) {
//    write
    read
  }

  def read = {
    val conn = getConn
    val auths = Authorizations.EMPTY// new Authorizations("Valid")
    val scanner = conn.createScanner(table, auths)

    val range = new org.apache.accumulo.core.data.Range("row1", "row2") // start row --- end row  即row ID
    scanner.setRange(range)
//    scanner.fetchColumnFamily()
    //    println(scanner.iterator().next().getKey)
    val iter = scanner.iterator()
    while (iter.hasNext){
      var item = iter.next()
      //Accumulo中数据存放在table中，分为Key Value，其中Key又包含RowID和Column，Column包含Family Qualifier Visibility
      println(s"key  row:${item.getKey.getRow} fam:${item.getKey.getColumnFamily} qua:${item.getKey.getColumnQualifier} value:${item.getValue}")
    }
//    for(entry <- scanner) {
//      println(entry.getKey + " is " + entry.getValue)
//    }
  }

  def write {
    val mutation = createMutation
    val writer = getWriter
    writer.addMutation(mutation)
//    writer.flush()
    writer.close
  }

  def createMutation = {
    val rowID = new Text("row2")
    val colFam = new Text("myColFam")
    val colQual = new Text("myColQual")
    //  val colVis = new ColumnVisibility("public")  //不需要加入可见性
    var timstamp = System.currentTimeMillis
    val value = new Value("myValue".getBytes)
    val mutation = new Mutation(rowID)
    mutation.put(colFam, colQual, timstamp, value)
    mutation
  }

  def getConn = {
    val inst = new ZooKeeperInstance(instanceName, zooServers)
    val conn = inst.getConnector("root", token)
    conn
  }

  def getWriter() = {
    val conn = getConn
    val config = new BatchWriterConfig
    config.setMaxMemory(10000000L)
    val writer: BatchWriter = conn.createBatchWriter(table, config)
    writer
  }
}

      以上代码主要实现了Accumulo的读写操作，其中zooServers是安装的zookeeper的主节点地址。instanceName是accumulo的实例名称。read的Range实现了范围内查找，但是此处的范围需要输入的是RowID的起始值，由于Accumulo是自动排序的，所以此处输入范围会将该范围内的数据全部返回。其他代码均通俗易懂（自认为，哈哈），所以不在这里赘述。

     本文简单介绍了Accumulo的操作，仅是为了方便理解Geotrellis的工作原理以及阅读Geotrellis的源代码做准备，若是有人恰好需要将数据存放到集群中，不妨可以试一下存入到Accumulo中。

    

 

     参考链接

一、geotrellis使用初探
二、geotrellis使用（二）geotrellis-chatta-demo以及geotrellis框架数据读取方式初探
三、geotrellis使用（三）geotrellis数据处理过程分析
四、geotrellis使用（四）geotrellis数据处理部分细节

五、geotrellis使用（五）使用scala操作Accumulo