开发过程中资源限制的挑战

1.什么是资源限制

资源限制是指在进行并发编程时，程序执行速度受限于计算机硬件资源或软件资源。

例如，服务器的带宽只有2MB/s，某个资源的下载速度是1MB/s，系统启动10个

线程下载资源，下载速度不会变成10MB/s，所以在进行并发编程时，要考虑这些资源的

限制。硬件资源限制有带宽的上传/下载、硬盘读写速度和CPU的处理速度。软件资源限制

有数据库的连接数和socket连接数等。

2.资源限制引发的问题

在并发编程中，将代码执行速度加快的原则是将代码中串行执行的部分变成并发执行，但是

如果将某段串行的代码并发执行，因为受资源，仍然在串行执行，这时候出现不仅不会加快

执行，反而会更慢，因为增加了上下文切换和资源调度的时间。例如之前看看到一段程序使用

多线程在办公网并发地下载和处理数据时，导致CPU利用率达到100%，几个小时都不能运行

完成任务，后来改成单线程，一个小时就执行完成了。

3.如何解决资源限制的问题

对于硬件资源限制，可以考虑使用集群并行执行程序。既然单机的资源有限制，那么就让程序

在多机上运行。比如使用ODPS、Hadoop或者自己搭建的服务器集群，不同的机器处理不同的数据。

可以通过“数据ID%机器数”，计算得到一个机器编号，然后由对应编号的机器处理这笔数据。

　　对于软件资源限制，可以考虑使用资源池将资源复用。比如使用连接池将数据库和Socket

连接复用，或者在调用对方webservice接口获取数据时，只建立一个连接。

4.在资源限制情况下进行并发编程

如何在资源限制的情况下，让程序执行得更快呢？方法是，根据不同的资源限制调整程序的并发度，

比如下载文件程序依赖于两个资源--带宽和硬盘读写速度。有数据库操作时，涉及数据库连接数，如果

SQL语句执行非常快，而线程的数量比数据连接数大很多，则某些线程会被阻塞，等待数据库连接。

 

 

对于Java开发人员，建议多使用JDK并发包提供的并发容器和工具类来解决并问题，因为这些类都已经

通过充分的测试和优化。

 

IT技术和行业交流群 417691667