Java Resizable Array

原文链接：http://tutorials.jenkov.com/java-performance/resizable-array.html，如有侵权，立删

Java Resizable Array

  • Java Resizable Array - GitHub Repository
  • Resizable Array Use Case
  • Resizable Array DesignExpand on Write
    • Keeping Track of Free Blocks
  • Freeing Arrays
  • Using the ResizableArrayBuffer
    • Creating a ResizableArrayBuffer
    • Obtaining a ResizableArray Instance
    • Writing to a ResizableArray
    • Reading From a ResizableArray
    • Freeing a ResizableArray

　　有时候我们为了快速便捷的读取数据，想把数据保存在单个连续的数组里。这就需要数组是可以调节大小的，或者是可以扩张的。但是在Java中数组的大小是不可以调节的。你必须亲自实现一个可调节大小的数组，在本文中我将展示如何实现这个数组。

Java Resizable Array-GitHub Repository

　　源代码哦：https://github.com/jjenkov/java-resizable-array

　　包含了三个classes和两个测试类

Resizable Array Use Case

　　想象下如果你有一个接受不同数据的Server，最小的数据4KB，大的1MB或者更大。

　　如果Server同一时间有1000K+的访问连接，我们需要知道要为数据提前分配多大的空间。我们不能仅仅只是分配一个最大的空间（1MB&16MB）为每个buffer。当有一千条连接访问Server时（100.000 × 1MB = 100GB），需要100GB的空间。

　　换一种思路，我们先从最小的信息开始处理，如果信息size超过了最小信息，那么我们重新分配一块空间并把原来的信息复制过去。如果信息又超过了现有的容量，那么再次分配并复制

　　使用这种策略，大多数信息将会使用最小buffer。这也就意味着Server的内存使用会变得非常高效，（100.000×4KB = 400MB），即使连接访问达到（1000.000 × 4KB = 4GB）。大多数Server也能hold住。

Resizable Array Design

　　resizable array 包含两个部分

    • ResizableArray
    • ResizableArrayBuffer

　　ResizableArrayBuffer包含一个单一，高容的数组。这个数组被分为三个部分。一个部分为small arrays，一个为medium size arrays 和 large array。

　　ResizableArray就表示单一，高容的数组，它的数据存储在ResizableArrayBuffer中的数组。

　　有图有真相

　　　　　　　　　　　　　　　　

　　为了在ResizableArrayBuffer中的large array为各个大小不一的message预留空间，我们需要保证array不会被任意大小的message填充满。例如，接受了大量的small mesages，并不会占用全部的内存，但是却会阻塞Server接受medium和large message。相似的，接受大量的large或medium message也不会占用所有的内存，但却会使得另外连个message type产生阻塞。

　　假如所有的message都是从small messages开始，如果大量的small arrays被耗尽，无论medium array或large array是否有空间，都不会分配新的array。但是如果将small arrays的大小设置的合理，这种情况发生的概率就会降低。

　　即便small message部分全部被占用了，small message还是有可能会grow为medium and large messages的。

Keeping Track of Fress Blocks

　　large array 在ResizableArrayBuffer中被分为三个部分，每个部分又被分为很多小块。每个小块在每个部分中有着相同的大小。

　　当所有的块在其所处的部分有着相同的大小时，它是很容易去跟踪那些使用着的块和没有使用的块。你可以使用一个queue（队列）来保存每个块的开始索引。对于每个部分都需要有这么一个queue（队列），一个queue（队列）去跟踪可用的small blocks，medium blocks 和 large blocks 同样是这样的。

　　Allocating a block from any of the sections can be accomplished simply by taking the next free block start index from the queue associated with the desired section. Freeing a block is done by putting the start index back into the corresponding queue.（能力有限）

　　对于queue（队列）我曾经用一个简单的Ring Buffer 实现过，链接：http://tutorials.jenkov.com/java-performance/ring-buffer.html

Expand on Write

　　当你向array中写入数据时，Resizable array将会自己expand。如果你尝试向其中写入更多的数据，但是 array 没有多余的空间，它会被分配一个新的更大的 block 并且把原有的数据全部复制过去，之前的使用的block就free掉。

Freeing Arrays

　　一旦你获得了一个更大的array，你就应该释放掉原来的array，以便它可以存储别的message。

　　Using the ResizableArrayBuffer

　　我教你如何使用ResizableArrayBuffer

　　Creating a ResizableArrayBuffer

　　首先你必须创建一个ResizableArrayBuffer

 1 int smallBlockSize  =    4 * 1024;
 2 int mediumBlockSize =  128 * 1024;
 3 int largeBlockSize  = 1024 * 1024;
 4 
 5 int smallBlockCount  = 1024;
 6 int mediumBlockCount =   32;
 7 int largeBlockCount  =    4;
 8 
 9 ResizableArrayBuffer arrayBuffer =
10         new ResizableArrayBuffer(
11                 smallBlockSize , smallBlockCount,
12                 mediumBlockSize, mediumBlockCount,
13                 largeBlockSize,  largeBlockCount);

　　This example creates a ResizableArrayBuffer with a small array size of 4KB, medium array size of 128KB and a larger array size of 1MB. The ResizableArrayBuffer contains space for 1024 small arrays (4MB in total), 32 medium arrays (4MB in total) and 4 large arrays (4MB in total) - for a full shared array size of 12MB.（不想翻了）

Obtaining a ResizableArray Instance

　　获得一个ResizableArray instance，调用ResizableArrayBuffer`s getArray（）方法。

 ResizableArray resizableArray = arrayBuffer.getArray(); 

　　这个例子会获得一个很小的ResizableArray（4KB）

　　Writing to a ResizableArray

　　你可以调用ResizableArray自己的write（）方法。你可以重构它

1 ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
2 
3 for(int i=0; i < 1024; i++){
4     byteBuffer.put((byte) i);
5 }
6 byteBuffer.flip():
7 
8 int bytesCopied = resizableArray.write(byteBuffer);

　　这个例子将ByteBuffer中的数据copy到ResizableArray中的array（block），返回值是复制了多少个字节数。

　　一种情况是ByteBuffer中的数据大于ResizableArray的容量，那么ResizableArray将尝试expand自身的空间为了ByteBuffer中的数据。如果ResizableArray在expanding后不能包含所有的ByteBuffer数据，write（）方法将会返回-1并且也不会复制data。

Reading From a ResizalbeArray

　　当你从ResizableArray读取数据时，你可以直接在所有ResizableArray实例共享的共享数组中读取。ResizableArray包含以下几个字段：

1 public byte[] sharedArray = null;
2 public int    offset      = 0;
3 public int    capacity    = 0;
4 public int    length      = 0;

　　shareArray字段引用所有的ResizableArray实例中的共享array，这是保存在ResizableArrayBuffer中的内部array。

　　offset字段包含着共享array中的开始索引。

　　capacity字段包含ResizableArray实例中分配的共享数组中block的size。

　　length字段包含多少正在使用的block

　　去读取卸载ResizableArray中的数据时，是从shareArray[offset]到shareArray[offset+length-1]。

Freeing a ResizableArray

　　一旦你使用完了ResizableArray，你就要free它。仅需要调用ResizableArray中的free()方法即可。

resizableArray.free();

　　调用free（）方法负责返回使用过的block到正确的queue，不管分配给ResizableArray中block的大小。

 

posted @ 2018-12-01 18:56  一凡夫一俗子  阅读(464)  评论(0)  编辑  收藏  举报