使用Java程序一次分段读取所有数据(如海量数据)并计数处理

前段时间遇到一个问题,很简单就是定时任务删除数据库中三个月前的数据;无非就是delete...from...where;当时的需求要考虑这几个问题:

1.效率

2.一次读取全部

3.保留部分数据

先说一下当时的需求,删除三个月前的动态(团队动态),但有些团队的动态本身就很少,删除了影响前台数据量,所以只删除三个月内动态>200条的数据;

其实完全可以一个简单的delete  from,count计数,但这对磁盘IO消耗很大;所以要在内存中处理;如何读取数据,计数是主要问题;

下面是当时实现代码

?

//定时删除团队动态public class AutoDelTeamDynamic {

 

    protected final static Log logger = LogFactory.getLog(AutoDelTeamDynamic.class);

     

    public void executeInternal() {

        logger.warn(" autoDelTeamDynamic start! ");

        Date d = new Date();//当前时间

        Date startDate = DateUtil.getDateInDayAgo(d, -90);

        Date delDate = DateUtil.dateUtil2date(startDate, "yyyy-MM-dd");//三个月前

        //三个月团队内动态数量大于200删除

        Long id = 0l;

        String dynamics = "select id,team_id,create_time from g_team_dynamic where id > ? order by team_id asc,id desc limit 10000";

        while(true){

            List<Map<String, Object>> result = Db.executeQuery(dynamics, new Object[]{id},false);

            if(result == null || result.size() < 10000){

                break;

            }

            Map<Long,Integer> map = new HashMap<Long, Integer>();

            StringBuffer sb = new StringBuffer();

            for(Map<String, Object> numMap : result){

                id = (Long)numMap.get("id");

                Long team_id = (Long)numMap.get("team_id");

                Date create_time = (Date)numMap.get("create_time");

                Date date = DateUtil.dateUtil2date(create_time, "yyyy-MM-dd");

                if(DateUtil.compareTwoDate(date, delDate) == 1){

                    if(map.containsKey(team_id)){

                        map.put(team_id, map.get(team_id) + 1);

                        if(map.get(team_id) > 200){

                            sb.append(id).append(",");

                        }

                    }else{

                        map.put(team_id, 1);

                    }

                }

            }

            if(sb.length() > 0){

                sb.deleteCharAt(sb.length()-1);

                delDynamic(sb.toString());

            }

            id--;

        }

        logger.warn(" autoDelTeamDynamic end! ");

    }

     

    private void delDynamic(String ids){

        String delsql = " DELETE FROM g_team_dynamic WHERE id in ("+ids+")";

        int a = Db.executeUpdate(delsql,null, false);

        if(a <= 0){

            logger.error("删除每日任务记录失败!"+delsql);

        }

    }

}

以上代码是工程中的,只是一个思路问题;SQL语句是分段读取数据的,如何让分段读取能够读取到数据库中全部数据,这里用到了while(true),每次读取10000条,即只要数据库中数据还多于一万就一直向下执行,直到数据少于10000时结束;还有个问题就是分段读取数据的衔接,注意Long id=0,及SQL语句中的where条件,主键id之后被数据中读取数据重新赋值,一次循环执行SQL结束,id--,这样就可以将两次Limit的数据衔接上(id主键自增),如此执行,就可以一次读取到数据库中所有数据;

下面就是计数问题,在这里是使用Map计数的,每当发现一个team_id,判断Map中是否包含,不包含创建,计数1;包含则在原来个数上加一,如此计数,当team_id对应数据大于200,直接将数据库中记录id放入可删除字符串中;

最后就是根据主键删除记录,如此做是效率最高的删除操作,where条件放入in条件,一次传入所有需要删除记录的ID;

这样就可以实现需求;海量数据处理确实很难模拟,不在互联网公司很难接触到,一个删除操作就要如此麻烦,但我们都应该知道,内存可以扩展,但IO处理对效率的影响会更大;