数据库选型之MySQL(多线程并发)
刘勇 Email: lyssym@sina.com
本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣!
简介
鉴于高频中心库task部分占用机器较多,为节省成本,调研数据库或缓存。在数据库选型之MySQL(二)中,在固态硬盘本地访问MySQL可以满足其10000次/s操作的需求,由于实际环境中存在多个品种(多进程、多线程访问数据库)的业务需求,因此,本文采用多线程在固态硬盘本地访问MySQL展开测试,以期对高频中心库后期架构调整提供实践参考。需要指出,本文作者对该种节省成本的解决方案是不赞成的。
测试环境
硬件环境
10.1.120.34:Intel Core I5-4590, 主频:3.30G, 内存:16G, 有固态硬盘
软件环境:
10.1.120.34: Cent OS 6.5, MySQL 5.6.26 (社区版)
性能测试
针对高频生产的应用需求,本文构造高频中心库系统的数据结构,采用多线程模拟业务需求对本地节点MySQL进行写入操作,分别存储数据总量为60K、100K、600K条数据,对其速率进行测试。需要指出,由于常见I/O访问的瓶颈主要受限于写入测试,本文只针对写入操作进行测试,暂不考虑读取操作或者混合读写方式,若写入操作不满足要求,其它操作无需测试。
因为10.1.120.34上采用固态硬盘作为存储介质,其安装有MySQL,根据应用场景,分别从10、20、30个线程并发访问MySQL 展开测试。
测试整个结果见图-1:
图-1 完整测试结果
10个线程
从10个线程执行事务处理,需要指出,事务处理数据量固定为1000,以下多线程情况与之类同,不再赘述,10个线程的平均速率见表-1。
表-1 10个线程下每个线程平均访问MySQL测试结果
节点 |
数据库IP |
数据量(K) |
平均写入速率(条/s) |
本地节点 | 10.1.120.34 | 60 | 4085 |
本地节点 | 10.1.120.34 | 100 | 4607 |
本地节点 | 10.1.120.34 | 600 | 3021 |
20个线程
从20个线程执行事务处理,20个线程的平均速率见表-2。
表-2 20个线程下每个线程平均访问MySQL测试结果
节点 |
数据库IP |
数据量(K) |
平均写入速率(条/s) |
本地节点 | 10.1.120.34 | 60 | 1945 |
本地节点 | 10.1.120.34 | 100 | 2149 |
本地节点 | 10.1.120.34 | 600 | 1525 |
30个线程
从30个线程执行事务处理,30个线程的平均速率见表-3。
表-3 30个线程下每个线程平均访问MySQL测试结果
节点 |
数据库IP |
数据量(K) |
平均写入速率(条/s) |
本地节点 | 10.1.120.34 | 60 | 1266 |
本地节点 | 10.1.120.34 | 100 | 1461 |
本地节点 | 10.1.120.34 | 600 | 879 |
小结
从表1-3可知:1)随着线程数目增加,线程平均写入速率会减小,而且还很明显;2)随着访问的数据量的增加,以10万条至60万条为例,每个线程平均访问其速率下降也很明显。
本文测试结果对高频中心库后续架构调整提供有一些实践参考,若以平均速率乘以线程个数来衡量,则该高频生产情形是满足需求的,但是若出现不平衡状况,则为节省成本采用将数据在固态硬盘本地入库落地来生产,然后辅以redis作为缓存来缓解访问系统访问压力的解决方案,本文作者是不赞成这种该方案的,希望对有类似业务需求的朋友有所帮助。
附录:
测试部分程序源代码:
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import java.sql.Date; 2 import java.math.BigDecimal; 3 4 public class Transaction { 5 private Date tradedate; 6 private String symbol; 7 private String symbolName; 8 private String trdmintime; 9 private BigDecimal startprice; 10 private BigDecimal highprice; 11 private BigDecimal lowprice; 12 private BigDecimal endprice; 13 private BigDecimal change; 14 private BigDecimal changeratio; 15 private BigDecimal minvolume; 16 private BigDecimal minamout; 17 private long unix; 18 private String market; 19 20 public Transaction(Date tradedate, 21 String symbol, 22 String symbolName, 23 String trdmintime, 24 BigDecimal startprice, 25 BigDecimal highprice, 26 BigDecimal lowprice, 27 BigDecimal endprice, 28 BigDecimal change, 29 BigDecimal changeratio, 30 BigDecimal minvolume, 31 BigDecimal minamout, 32 long unix, 33 String market) 34 { 35 this.symbol = symbol; 36 this.symbolName = symbolName; 37 this.trdmintime = trdmintime; 38 this.startprice = startprice; 39 this.highprice = highprice; 40 this.lowprice = lowprice; 41 this.endprice = endprice; 42 this.change = change; 43 this.changeratio = changeratio; 44 this.minvolume = minvolume; 45 this.minamout = minamout; 46 this.unix = unix; 47 this.market = market; 48 } 49 50 public void setTradedate(Date tradedate) { 51 this.tradedate = tradedate; 52 } 53 54 public void setSymbol(String symbol) { 55 this.symbol = symbol; 56 } 57 58 public void setSymbolName(String symbolName) { 59 this.symbolName = symbolName; 60 } 61 62 public void setTrdmintime(String trdmintime) { 63 this.trdmintime = trdmintime; 64 } 65 66 public void setStartprice(BigDecimal startprice) { 67 this.startprice = startprice; 68 } 69 70 public void setHighprice(BigDecimal highprice) { 71 this.highprice = highprice; 72 } 73 74 public void setLowprice(BigDecimal lowprice) { 75 this.lowprice = lowprice; 76 } 77 78 public void setEndprice(BigDecimal endprice) { 79 this.endprice = endprice; 80 } 81 82 public void setChange(BigDecimal change) { 83 this.change = change; 84 } 85 86 public void setChangeratio(BigDecimal changeratio) { 87 this.changeratio = changeratio; 88 } 89 90 public void setMinvolume(BigDecimal minvolume) { 91 this.minvolume = minvolume; 92 } 93 94 public void setMinamout(BigDecimal minamout) { 95 this.minamout = minamout; 96 } 97 98 public void setUnix(long unix) { 99 this.unix = unix; 100 } 101 102 public void setMarket(String market) { 103 this.market = market; 104 } 105 106 public Date getTradedate() { 107 return tradedate; 108 } 109 110 public String getSymbol() { 111 return symbol; 112 } 113 114 public String getSymbolName() { 115 return symbolName; 116 } 117 118 public String getTrdmintime() { 119 return trdmintime; 120 } 121 122 public BigDecimal getStartprice() { 123 return startprice; 124 } 125 126 public BigDecimal getHighprice() { 127 return highprice; 128 } 129 130 public BigDecimal getLowprice() { 131 return lowprice; 132 } 133 134 public BigDecimal getEndprice() { 135 return endprice; 136 } 137 138 public BigDecimal getChange() { 139 return change; 140 } 141 142 public BigDecimal getChangeratio() { 143 return changeratio; 144 } 145 146 public BigDecimal getMinvolume() { 147 return minvolume; 148 } 149 150 public BigDecimal getMinamout() { 151 return minamout; 152 } 153 154 public long getUnix() { 155 return unix; 156 } 157 158 public String getMarket() { 159 return market; 160 } 161 162 }
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import java.sql.Date; 2 import com.gta.mysql.Transaction; 3 import com.gta.mysql.Test; 4 5 public class RunThread extends Thread { 6 private Transaction ts; 7 private int symbolData; 8 private Test test; 9 10 public RunThread(Transaction ts, int symbolData, Test test) { 11 this.ts = ts; 12 this.symbolData = symbolData; 13 this.test = test; 14 } 15 16 17 public void run() 18 { 19 long start = getRunTime(); 20 for(int i = 0; i < ThreadTest.NUM*1000; i++) { 21 ts.setTradedate(new Date(System.currentTimeMillis())); 22 ts.setSymbol(Integer.toString(symbolData)); 23 symbolData++; 24 ts.setSymbolName("中国银行"); 25 ts.setUnix(ts.getUnix()+1); 26 test.insertData(ts); 27 } 28 long end = getRunTime(); 29 30 System.out.println(ThreadTest.NUM*1000*1000/(end-start)); 31 } 32 33 34 public long getRunTime() 35 { 36 return System.currentTimeMillis(); 37 } 38 39 }
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import java.math.BigDecimal; 2 import java.math.RoundingMode; 3 import com.gta.mysql.Test; 4 import com.gta.mysql.Transaction; 5 6 public class ThreadTest { 7 public static int MAX = 10; 8 public static int NUM = Test.FIX/MAX; 9 10 11 public static void main(String[] args) { 12 13 Transaction [] ts = new Transaction[ThreadTest.MAX]; 14 Test []test = new Test[ThreadTest.MAX]; 15 int symbol = 100000; 16 for (int i = 0; i < ts.length; i++) { 17 ts[i] = new Transaction(null, 18 "", 19 "", 20 "010000", 21 new BigDecimal(15.857).setScale(3, RoundingMode.HALF_UP), 22 new BigDecimal(18.550).setScale(3, RoundingMode.HALF_UP), 23 new BigDecimal(13.147).setScale(3, RoundingMode.HALF_UP), 24 new BigDecimal(16.383).setScale(3, RoundingMode.HALF_UP), 25 new BigDecimal(0.151).setScale(3, RoundingMode.HALF_UP), 26 new BigDecimal(1.550).setScale(3, RoundingMode.HALF_UP), 27 new BigDecimal(5000000).setScale(3, RoundingMode.HALF_UP), 28 new BigDecimal(500000000).setScale(3, RoundingMode.HALF_UP), 29 System.currentTimeMillis(), 30 "SSE"); 31 test[i] = new Test(); 32 33 } 34 35 36 RunThread[] thread = new RunThread[ThreadTest.MAX]; 37 for (int i = 0; i < thread.length; i++) { 38 test[i].initMySQL(); 39 thread[i] = new RunThread(ts[i], symbol, test[i]); 40 symbol += ThreadTest.NUM*1000; 41 } 42 43 for (int i = 0; i < thread.length; i++) 44 thread[i].start(); 45 46 while (true) { 47 try { 48 Thread.sleep(1000); 49 } catch (InterruptedException e) { 50 e.printStackTrace(); 51 test[0].down(); 52 } 53 } 54 55 } 56 57 }
作者:志青云集
出处:http://www.cnblogs.com/lyssym
如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【志青云集】。
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。