第三章 CopyOnWriteArrayList源码解析
1、什么是CopyOnWrite容器
CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候，不直接往当前容器添加，而是先将当前容器进行Copy，复制出一个新的容器，然后新的容器里添加元素，添加完元素之后，再将原容器的引用指向新的容器。这样做的好处是我们可以对CopyOnWrite容器进行并发的读，而不需要加锁，因为当前容器不会添加任何元素。所以CopyOnWrite容器也是一种读写分离的思想，读和写不同的容器。
适用场景：读多写少的场景。
CopyOnWriteArrayList是Java并发包中提供的一个并发容器，它是个线程安全且读操作无锁的ArrayList，写操作则通过创建底层数组的新副本来实现，是一种读写分离的并发策略，我们也可以称这种容器为"写时复制器"，Java并发包中类似的容器还有CopyOnWriteSet。本文会对CopyOnWriteArrayList的实现原理及源码进行分析。
实现原理
我们都知道，集合框架中的ArrayList是非线程安全的，Vector虽是线程安全的，但由于简单粗暴的锁同步机制，性能较差。而CopyOnWriteArrayList则提供了另一种不同的并发处理策略（当然是针对特定的并发场景）。
很多时候，我们的系统应对的都是读多写少的并发场景。CopyOnWriteArrayList容器允许并发读，读操作是无锁的，性能较高。至于写操作，比如向容器中添加一个元素，则首先将当前容器复制一份，然后在新副本上执行写操作，结束之后再将原容器的引用指向新容器。
优缺点分析
了解了CopyOnWriteArrayList的实现原理，分析它的优缺点及使用场景就很容易了。
优点：
读操作性能很高，因为无需任何同步措施，比较适用于读多写少的并发场景。Java的list在遍历时，若中途有别的线程对list容器进行修改，则会抛出ConcurrentModificationException异常。而CopyOnWriteArrayList由于其"读写分离"的思想，遍历和修改操作分别作用在不同的list容器，所以在使用迭代器进行遍历时候，也就不会抛出ConcurrentModificationException异常了
缺点：
缺点也很明显，一是内存占用问题，毕竟每次执行写操作都要将原容器拷贝一份，数据量大时，对内存压力较大，可能会引起频繁GC；二是无法保证实时性，Vector对于读写操作均加锁同步，可以保证读和写的强一致性。而CopyOnWriteArrayList由于其实现策略的原因，写和读分别作用在新老不同容器上，在写操作执行过程中，读不会阻塞但读取到的却是老容器的数据。
1、对于CopyOnWriteArrayList需要掌握以下几点
- 创建：CopyOnWriteArrayList()
- 添加元素：即add(E)方法
- 获取单个对象：即get(int)方法
- 删除对象：即remove(E)方法
- 遍历所有对象：即iterator()，在实际中更常用的是增强型的for循环去做遍历
注：CopyOnWriteArrayList是一个线程安全，读操作时无锁的ArrayList。
2、创建
public CopyOnWriteArrayList()
使用方法：
List<String> list = new CopyOnWriteArrayList<String>();
相关源代码：
private volatile transient Object[] array;//底层数据结构
/**
* 获取array
*/
final Object[] getArray() {
return array;
}
/**
* 设置Object[]
*/
final void setArray(Object[] a) {
array = a;
}
/**
* 创建一个CopyOnWriteArrayList
* 注意：创建了一个0个元素的数组
*/
public CopyOnWriteArrayList() {
setArray(new Object[0]);
}
注意点：
- 设置一个容量为0的Object[]；ArrayList会创造一个容量为10的Object[]
3、添加元素
public boolean add(E e)
使用方法：
list.add("hello");
源代码：
/**
* 在数组末尾添加元素
* 1）获取锁
* 2）上锁
* 3）获取旧数组及其长度
* 4）创建新数组，容量为旧数组长度+1，将旧数组拷贝到新数组
* 5）将要增加的元素加入到新数组的末尾，设置全局array为新数组
*/
public boolean add(E e) {
final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁
lock.lock();//上锁
try {
Object[] elements = getArray();//获取当前的数组
int len = elements.length;//获取当前数组元素
/*
* Arrays.copyOf(elements, len + 1)的大致执行流程：
* 1）创建新数组，容量为len+1，
* 2）将旧数组elements拷贝到新数组，
* 3）返回新数组
*/
Object[] newElements = Arrays.copyOf(elements, len + 1);
newElements[len] = e;//新数组的末尾元素设成e
setArray(newElements);//设置全局array为新数组
return true;
} finally {
lock.unlock();//解锁
}
}
注意点：
- Arrays.copyOf(T[] original, int newLength)该方法在ArrayList中讲解过
疑问：
- 在add(E)方法中，为什么要重新定义一个ReentrantLock，而不直接使用那个定义的类变量锁（全局锁）
- 答：事实上，按照他那样写，即使是在add、remove、set中存在多个引用，最后也是一个实例this.lock，所以不管你在add、remove、set中怎样去从新定义一个ReentrantLock，其实add、remove、set中最后使用的都是同一个锁this.lock，也就是说，同一时刻，add/remove/set只能有一个在运行。这样讲，就是说，下边这段代码完全可以做一个修改。修改前的代码：
public boolean add(E e) { final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁 lock.lock();//上锁 -
修改后的代码：
-
public boolean add(E e) { //final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁 this.lock.lock();//上锁
- 答：事实上，按照他那样写，即使是在add、remove、set中存在多个引用，最后也是一个实例this.lock，所以不管你在add、remove、set中怎样去从新定义一个ReentrantLock，其实add、remove、set中最后使用的都是同一个锁this.lock，也就是说，同一时刻，add/remove/set只能有一个在运行。这样讲，就是说，下边这段代码完全可以做一个修改。修改前的代码：
- 根据以上代码可知，每增加一个新元素，都要进行一次数组的复制消耗，那为什么每次不将数组的元素设大（比如说像ArrayList那样，设置为原来的1.5倍+1），这样就会大大减少因为数组元素复制所带来的消耗？
4、获取元素
public E get(int index)
使用方法：
list.get(0)
源代码：
/**
* 根据下标获取元素
* 1）获取数组array
* 2）根据索引获取元素
*/
public E get(int index) {
return (E) (getArray()[index]);
}
注意点：
- 获取不需要加锁
疑问：在《分布式Java应用：基础与实践》一书中作者指出：读操作会发生脏读，为什么？
从类属性部分，我们可以看到array数组是volatile修饰的，也就是当你对volatile进行写操作后，会将写过后的array数组强制刷新到主内存，在读操作中，当你读出数组（即getArray()）时，会强制从主内存将array读到工作内存，所以应该不会发生脏读才对呀！！！
5、删除元素
public boolean remove(Object o)
使用方法：
list.remove("hello")
源代码：
/**
* 删除list中的第一个o
* 1）获取锁、上锁
* 2）获取旧数组、旧数组的长度len
* 3）如果旧数组长度为0，返回false
* 4）如果旧数组有值，创建新数组，容量为len-1
* 5）从0开始遍历数组中除了最后一个元素的所有元素
* 5.1）将旧数组中将被删除元素之前的元素复制到新数组中，
* 5.2）将旧数组中将被删除元素之后的元素复制到新数组中
* 5.3）将新数组赋给全局array
* 6）如果是旧数组的最后一个元素要被删除，则
* 6.1）将旧数组中将被删除元素之前的元素复制到新数组中
* 6.2）将新数组赋给全局array
*/
public boolean remove(Object o) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();//获取原数组
int len = elements.length;//获取原数组长度
if (len != 0) {//如果有数据
// Copy while searching for element to remove
// This wins in the normal case of element being present
int newlen = len - 1;//新数组长度为原数组长度-1
Object[] newElements = new Object[newlen];//创建新数组
for (int i = 0; i < newlen; ++i) {//遍历新数组（不包含最后一个元素）
if (eq(o, elements[i])) {
// 将旧数组中将被删除元素之后的元素复制到新数组中
for (int k = i + 1; k < len; ++k)
newElements[k - 1] = elements[k];
setArray(newElements);//将新数组赋给全局array
return true;
} else
newElements[i] = elements[i];//将旧数组中将被删除元素之前的元素复制到新数组中
}
if (eq(o, elements[newlen])) {//将要删除的元素时旧数组中的最后一个元素
setArray(newElements);
return true;
}
}
return false;
} finally {
lock.unlock();
}
}
/**
* 判断o1与o2是否相等
*/
private static boolean eq(Object o1, Object o2) {
return (o1 == null ? o2 == null : o1.equals(o2));
}
注意点：
- 需要加锁
- ArrayList的remove使用了System.arraycopy（这是一个native方法），而这里没使用，所以理论上这里的remove的性能要比ArrayList的remove要低
6、遍历所有元素
iterator() hasNext() next()
使用方法：
讲解用的：
Iterator<String> itr = list.iterator();
while(itr.hasNext()){
System.out.println(itr.next());
}
for(String str : list){
System.out.println(str);
}
public Iterator<E> iterator() {
return new COWIterator<E>(getArray(), 0);
}
private static class COWIterator<E> implements ListIterator<E> {
private final Object[] snapshot;//数组快照
private int cursor;//可看做数组索引
private COWIterator(Object[] elements, int initialCursor) {
cursor = initialCursor;
snapshot = elements;//将实际数组赋给数组快照
}
public boolean hasNext() {
return cursor < snapshot.length;//0~snapshot.length-1
}
public E next() {
if (!hasNext())
throw new NoSuchElementException();
return (E) snapshot[cursor++];
}
说明：这一块儿代码非常简单，看看代码注释就好。
注意：
由于遍历的只是全局数组的一个副本，即使全局数组发生了增删改变化，副本也不会变化，所以不会发生并发异常。但是，可能在遍历的过程中读到一些刚刚被删除的对象。
注意点：
总结：
- 线程安全，读操作时无锁的ArrayList
- 底层数据结构是一个Object[]，初始容量为0，之后每增加一个元素，容量+1，数组复制一遍
- 增删改上锁、读不上锁
- 遍历过程由于遍历的只是全局数组的一个副本，即使全局数组发生了增删改变化，副本也不会变化，所以不会发生并发异常
- 读多写少且脏数据影响不大的并发情况下，选择CopyOnWriteArrayList
疑问：
- 每增加一个新元素，都要进行一次数组的复制消耗，那为什么每次不将数组的元素设大（比如说像ArrayList那样，设置为原来的1.5倍+1），这样就会大大减少因为数组元素复制所带来的消耗？
- get(int)操作会发生脏读，为什么
源码分析
基本原理了解了，CopyOnWriteArrayList的代码实现看起来就很容易理解了。
public boolean add(E e) {
//ReentrantLock加锁，保证线程安全
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
//拷贝原容器，长度为原容器长度加一
Object[] newElements = Arrays.copyOf(elements, len + 1);
//在新副本上执行添加操作
newElements[len] = e;
//将原容器引用指向新副本
setArray(newElements);
return true;
} finally {
//解锁
lock.unlock();
}
}
添加的逻辑很简单，先将原容器copy一份，然后在新副本上执行写操作，之后再切换引用。当然此过程是要加锁的。
删除操作
public E remove(int index) {
//加锁
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
E oldValue = get(elements, index);
int numMoved = len - index - 1;
if (numMoved == 0)
//如果要删除的是列表末端数据，拷贝前len-1个数据到新副本上，再切换引用
setArray(Arrays.copyOf(elements, len - 1));
else {
//否则，将除要删除元素之外的其他元素拷贝到新副本中，并切换引用
Object[] newElements = new Object[len - 1];
System.arraycopy(elements, 0, newElements, 0, index);
System.arraycopy(elements, index + 1, newElements, index,
numMoved);
setArray(newElements);
}
return oldValue;
} finally {
//解锁
lock.unlock();
}
}
删除操作同理，将除要删除元素之外的其他元素拷贝到新副本中，然后切换引用，将原容器引用指向新副本。同属写操作，需要加锁。
我们再来看看读操作，CopyOnWriteArrayList的读操作是不用加锁的，性能很高。
public E get(int index) {
return get(getArray(), index);
}
直接读取即可，无需加锁
private E get(Object[] a, int index) {
return (E) a[index];
}
总结
本文对CopyOnWriteArrayList的实现原理和源码进行了分析，并对CopyOnWriteArrayList的优缺点也进行了分析（Java并发包中还提供了CopyOnWriteSet，原理类似）。其实所谓并发容器的优缺点，无非是取决于我们在面对特定并发场景时，是否能做出相对合理的选择和应用。也希望本文能帮助到有需要的童鞋，共勉。
1、CopyOnWrite容器（并发容器）
Copy-On-Write简称COW，是一种用于程序设计中的优化策略。
其基本思路是，从一开始大家都在共享同一个内容，当某个人想要修改这个内容的时候，才会真正把内容Copy出去形成一个新的内容然后再改，这是一种延时懒惰策略。
从JDK1.5开始Java并发包里提供了两个使用CopyOnWrite机制实现的并发容器,它们是CopyOnWriteArrayList和CopyOnWriteArraySet。
CopyOnWrite容器即写时复制的容器。
通俗的理解是当我们往一个容器添加元素的时候，不直接往当前容器添加，而是先将当前容器进行Copy，复制出一个新的容器，然后新的容器里添加元素，添加完元素之后，再将原容器的引用指向新的容器。
这样做的好处是我们可以对CopyOnWrite容器进行并发的读，而不需要加锁，因为当前容器不会添加任何元素。
所以CopyOnWrite容器是一种读写分离的思想，读和写不同的容器、最终一致性 以及使用另外开辟空间的思路，来解决并发冲突的思想。
2、CopyOnWriteArrayList数据结构
public class CopyOnWriteArrayList<E>
implements List<E>, RandomAccess, Cloneable, java.io.Serializable {}
CopyOnWriteArrayList实现了List接口，List接口定义了对列表的基本操作；
- 同时实现了RandomAccess接口，表示可以随机访问（数组具有随机访问的特性）；
- 同时实现了Cloneable接口，表示可克隆；
- 同时也实现了Serializable接口，表示可被序列化。
- CopyOnWriteArrayList底层使用数组来存放元素。
2、CopyOnWriteArrayList Add方法
CopyOnWriteArrayList容器是Collections.synchronizedList(List list)的替代方案，是一个ArrayList的线程安全的变体。
基本原理：
初始化的时候只有一个容器，很常一段时间，这个容器数据、数量等没有发生变化的时候，大家(多个线程)，都是读取(假设这段时间里只发生读取的操作)同一个容器中的数据，所以这样大家读到的数据都是唯一、一致、安全的，但是后来有人往里面增加了一个数据，这个时候CopyOnWriteArrayList 底层实现添加的原理是先copy出一个容器(可以简称副本)，再往新的容器里添加这个新的数据，最后把新的容器的引用地址赋值给了之前那个旧的的容器地址，但是在添加这个数据的期间，其他线程如果要去读取数据，仍然是读取到旧的容器里的数据。
CopyOnWriteArrayList中add方法的实现（向CopyOnWriteArrayList里添加元素），可以发现在添加的时候是需要加锁的，否则多线程写的时候会Copy出N个副本出来。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
public boolean add(E e) { final ReentrantLock lock = this.lock; lock.lock(); try { Object[] elements = getArray(); int len = elements.length; // 复制出新数组 Object[] newElements = Arrays.copyOf(elements, len + 1); // 把新元素添加到新数组里 newElements[len] = e; // 把原数组引用指向新数组 setArray(newElements); return true; } finally { lock.unlock(); } } /** * Sets the array. */ final void setArray(Object[] a) { array = a; } |
读的时候不需要加锁，如果读的时候有多个线程正在向CopyOnWriteArrayList添加数据，读还是会读到旧的数据，因为写的时候不会锁住旧的CopyOnWriteArrayList。
public E get(int index) {
return get(getArray(), index);
}
3、remove方法
public E remove(int index) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
E oldValue = get(elements, index);
int numMoved = len - index - 1;
if (numMoved == 0)
setArray(Arrays.copyOf(elements, len - 1));
else {
Object[] newElements = new Object[len - 1];
System.arraycopy(elements, 0, newElements, 0, index);
System.arraycopy(elements, index + 1, newElements, index,
numMoved);
setArray(newElements);
}
return oldValue;
} finally {
lock.unlock();
}
}
删除元素，很简单，就是判断要删除的元素是否最后一个，如果最后一个直接在复制副本数组的时候，复制长度为旧数组的length-1即可；
但是如果不是最后一个元素，就先复制旧的数组的index前面元素到新数组中，然后再复制旧数组中index后面的元素到数组中，最后再把新数组复制给旧数组的引用。最后在finally语句块中将锁释放。
4、set方法
public E set(int index, E element) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
E oldValue = get(elements, index);
if (oldValue != element) {
int len = elements.length;
Object[] newElements = Arrays.copyOf(elements, len);
newElements[index] = element;
setArray(newElements);
} else {
// Not quite a no-op; ensures volatile write semantics
setArray(elements);
}
return oldValue;
} finally {
lock.unlock();
}
}
5、CopyOnWriteArrayList初始化（构造方法）
/**
* Sets the array.把老数组指向新数组么
*/
final void setArray(Object[] a) {
array = a;
}
/**
* Creates an empty list.构造函数
*/
public CopyOnWriteArrayList() {
setArray(new Object[0]);
}
public CopyOnWriteArrayList(Collection<? extends E> c) {
Object[] elements = c.toArray();
// c.toArray might (incorrectly) not return Object[] (see 6260652)
if (elements.getClass() != Object[].class)
elements = Arrays.copyOf(elements, elements.length, Object[].class);
setArray(elements);
}
/**
* Creates a list holding a copy of the given array.
*
* @param toCopyIn the array (a copy of this array is used as the
* internal array)
* @throws NullPointerException if the specified array is null
*/
public CopyOnWriteArrayList(E[] toCopyIn) {
setArray(Arrays.copyOf(toCopyIn, toCopyIn.length, Object[].class));
}
无论我们用哪一个构造方法创建一个CopyOnWriteArrayList对象，都会创建一个Object类型的数组，然后赋值给成员array。
6、copyOf函数
该函数用于复制指定的数组，截取或用 null 填充（如有必要），以使副本具有指定的长度。
public static <T,U> T[] copyOf(U[] original, int newLength, Class<? extends T[]> newType) {
@SuppressWarnings("unchecked")
// 确定copy的类型（将newType转化为Object类型，将Object[].class转化为Object类型，判断两者是否相等，若相等，则生成指定长度的Object数组
// 否则,生成指定长度的新类型的数组）
T[] copy = ((Object)newType == (Object)Object[].class)
? (T[]) new Object[newLength]
: (T[]) Array.newInstance(newType.getComponentType(), newLength);
// 将original数组从下标0开始，复制长度为(original.length和newLength的较小者),复制到copy数组中（也从下标0开始）
System.arraycopy(original, 0, copy, 0,
Math.min(original.length, newLength));
return copy;
}
7、CopyOnWrite的应用场景
CopyOnWrite并发容器用于读多写少的并发场景。
比如白名单，黑名单，商品类目的访问和更新场景，假如我们有一个搜索网站，用户在这个网站的搜索框中，输入关键字搜索内容，但是某些关键字不允许被搜索。
这些不能被搜索的关键字会被放在一个黑名单当中，黑名单每天晚上更新一次。当用户搜索时，会检查当前关键字在不在黑名单当中，如果在，则提示不能搜索。
8、CopyOnWrite的缺点
CopyOnWrite容器有很多优点（解决开发工作中的多线程的并发问题），但是同时也存在两个问题，即内存占用问题和数据一致性问题。
1.内存占用问题。
因为CopyOnWrite的写时复制机制，所以在进行写操作的时候，内存里会同时驻扎两个对象的内存，旧的对象和新写入的对象（注意:在复制的时候只是复制容器里的引用，只是在写的时候会创建新对象添加到新容器里，而旧容器的对象还在使用，所以有两份对象内存）。
如果这些对象占用的内存比较大，比如说200M左右，那么再写入100M数据进去，内存就会占用300M，那么这个时候很有可能造成频繁的Yong GC和Full GC。
针对内存占用问题，可以通过压缩容器中的元素的方法来减少大对象的内存消耗，比如，如果元素全是10进制的数字，可以考虑把它压缩成36进制或64进制。
或者不使用CopyOnWrite容器，而使用其他的并发容器，如ConcurrentHashMap。
2.数据一致性问题。
CopyOnWrite容器只能保证数据的最终一致性，不能保证数据的实时一致性。所以如果你希望写入的的数据，马上能读到，请不要使用CopyOnWrite容器。
9、总结：
- 1.CopyOnWriteArrayList适用于读多写少的场景
- 2.在并发操作容器对象时不会抛出ConcurrentModificationException，并且返回的元素与迭代器创建时的元素是一致的
- 3.容器对象的复制需要一定的开销，如果对象占用内存过大，可能造成频繁的YoungGC和Full GC
- 4.CopyOnWriteArrayList不能保证数据实时一致性，只能保证最终一致性
- 5.在需要并发操作List对象的时候优先使用CopyOnWriteArrayList
- 6.随着CopyOnWriteArrayList中元素的增加，CopyOnWriteArrayList的修改代价将越来越昂贵，因此，CopyOnWriteArrayList适用于读操作远多于修改操作的并发场景中。
