关于大数据量的处理思路

1.数据记录数多，数据记录小

 查询现象：   检索速度低、内存占用大（存储数据的索引），硬盘读取压力大，硬盘寻址压力大，条件检索和聚合检索（效果不明显）

优化思路：对数据进行格式化处理，实时将统计信息进行存储，进行数据分表以避免对不必要数据的检索，硬件上要购买寻址能力强的存储设备和部署方案

2.数据记录数少，数据文件大

查询现象：I/O压力大，写操作难度比较大，条件检索的效果明显，全表检索难度大，硬盘的I/O压力大于写操作的压力。