对于大量数据存储入库问题的解决办法

在开发过程中，有时可能会遇到这种情况，当主线程中开启了N个子线程，而每个子线程中运算分析结果的数据量特别的大，如果对于这样的大批量数据在子线程中进行入库，那么会造成大量的连接资源浪费，同时会造成数据库阻塞影响程序执行效率。这时候解决方案有两个：

将子线程中的数据统一用主线程接收，在主线程中进行入库操作。
但是这种方案争对执行完成后，数据量较小的情况，不会造成内存溢出的情况下，如果在数据量非常庞大的情况下，就会造成程序崩溃。

重新开启一个线程，这个线程是专用于数据存储入库的。
因为每个线程的执行速度是不太相同的，考虑到数据量大执行时间也偏长，所以将子线程执行入库的结果加入到数据队列中，而数据入库的这个线程就去取这个队列的值进行批量入库。此处用JAVA实现一下这个方案：

public class MainClass {
public static void main(String[] args) {
new Thread(new DataThread()).start();//模拟其它线程正在写数据
new Thread(new DBThread()).start();//开启数据入库线程
}
}
/**
* 模拟子线程添加数据
* @author libing
*
*/
public class DataThread implements Runnable {

@Override
public void run() {
while(true) {
//每100ms添加当前时间戳
DataQueue.addObject(System.currentTimeMillis());
try {
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
/**
* 数据入库的操作线程
* @author libing
*
*/
public class DBThread implements Runnable {
private static Logger logger = LoggerFactory.getLogger(DBThread.class);
private static int MAX_OBJECT_NUM=10;//每批次最大的数据大小
List<Object> objectList=new ArrayList<>();//
DbDao dbDao=new DbDao();//数据库操作

@Override
public void run() {
while(true) {
try {
if(objectList.size()<MAX_OBJECT_NUM) {
//当前入库的数据小于最大的要求
Object object = DataQueue.getObject();
if(object==null) {
//执行保存操作
dbDao.save(objectList);
objectList.clear();
Thread.sleep(5000);
}else {
//添加进列表
objectList.add(object);
}
}else {
//执行保存操作
dbDao.save(objectList);
objectList.clear();
Thread.sleep(5000);
}
} catch (Exception e) {
logger.error("出错",e);
}
}
}

---------------------