生产者/消费者问题的多种Java实现方式

时间：2023-03-09 18:49:22
生产者/消费者问题的多种Java实现方式

实质上，很多后台服务程序并发控制的基本原理都可以归纳为生产者/消费者模式，而这是恰恰是在本科操作系统课堂上老师反复讲解，而我们却视而不见不以为然的。在博文《一种面向作业流(工作流)的轻量级可复用的异步流水开发框架的设计与实现》中将介绍一种生产者/消费者模式的具体应用。

生产者消费者问题是研究多线程程序时绕不开的经典问题之一，它描述是有一块缓冲区作为仓库，生产者可以将产品放入仓库，消费者则可以从仓库中取走产品。解决生产者/消费者问题的方法可分为两类：（1）采用某种机制保护生产者和消费者之间的同步；（2）在生产者和消费者之间建立一个管道。第一种方式有较高的效率，并且易于实现，代码的可控制性较好，属于常用的模式。第二种管道缓冲区不易控制，被传输数据对象不易于封装等，实用性不强。因此本文只介绍同步机制实现的生产者/消费者问题。

同步问题核心在于：如何保证同一资源被多个线程并发访问时的完整性。常用的同步方法是采用信号或加锁机制，保证资源在任意时刻至多被一个线程访问。Java语言在多线程编程上实现了完全对象化，提供了对同步机制的良好支持。在Java中一共有四种方法支持同步，其中前三个是同步方法，一个是管道方法。

（1）wait() / notify()方法

（2）await() / signal()方法

（3）BlockingQueue阻塞队列方法

（4）PipedInputStream / PipedOutputStream

本文只介绍最常用的前三种，第四种暂不做讨论，有兴趣的读者可以自己去网上找答案。

一、wait() / notify()方法

wait() / nofity()方法是基类Object的两个方法，也就意味着所有Java类都会拥有这两个方法，这样，我们就可以为任何对象实现同步机制。

wait()方法：当缓冲区已满/空时，生产者/消费者线程停止自己的执行，放弃锁，使自己处于等等状态，让其他线程执行。

notify()方法：当生产者/消费者向缓冲区放入/取出一个产品时，向其他等待的线程发出可执行的通知，同时放弃锁，使自己处于等待状态。

光看文字可能不太好理解，咱来段代码就明白了：

[java] view plain copy
  1. import java.util.LinkedList;
  2. /**
  3. * 仓库类Storage实现缓冲区
  4. *
  5. * Email:530025983@qq.com
  6. *
  7. * @author MONKEY.D.MENG 2011-03-15
  8. *
  9. */
  10. public class Storage
  11. {
  12. // 仓库最大存储量
  13. private final int MAX_SIZE = 100;
  14. // 仓库存储的载体
  15. private LinkedList<Object> list = new LinkedList<Object>();
  16. // 生产num个产品
  17. public void produce(int num)
  18. {
  19. // 同步代码段
  20. synchronized (list)
  21. {
  22. // 如果仓库剩余容量不足
  23. while (list.size() + num > MAX_SIZE)
  24. {
  25. System.out.println("【要生产的产品数量】:" + num + "/t【库存量】:"
  26. + list.size() + "/t暂时不能执行生产任务!");
  27. try
  28. {
  29. // 由于条件不满足，生产阻塞
  30. list.wait();
  31. }
  32. catch (InterruptedException e)
  33. {
  34. e.printStackTrace();
  35. }
  36. }
  37. // 生产条件满足情况下，生产num个产品
  38. for (int i = 1; i <= num; ++i)
  39. {
  40. list.add(new Object());
  41. }
  42. System.out.println("【已经生产产品数】:" + num + "/t【现仓储量为】:" + list.size());
  43. list.notifyAll();
  44. }
  45. }
  46. // 消费num个产品
  47. public void consume(int num)
  48. {
  49. // 同步代码段
  50. synchronized (list)
  51. {
  52. // 如果仓库存储量不足
  53. while (list.size() < num)
  54. {
  55. System.out.println("【要消费的产品数量】:" + num + "/t【库存量】:"
  56. + list.size() + "/t暂时不能执行生产任务!");
  57. try
  58. {
  59. // 由于条件不满足，消费阻塞
  60. list.wait();
  61. }
  62. catch (InterruptedException e)
  63. {
  64. e.printStackTrace();
  65. }
  66. }
  67. // 消费条件满足情况下，消费num个产品
  68. for (int i = 1; i <= num; ++i)
  69. {
  70. list.remove();
  71. }
  72. System.out.println("【已经消费产品数】:" + num + "/t【现仓储量为】:" + list.size());
  73. list.notifyAll();
  74. }
  75. }
  76. // get/set方法
  77. public LinkedList<Object> getList()
  78. {
  79. return list;
  80. }
  81. public void setList(LinkedList<Object> list)
  82. {
  83. this.list = list;
  84. }
  85. public int getMAX_SIZE()
  86. {
  87. return MAX_SIZE;
  88. }
  89. }
  90. /**
  91. * 生产者类Producer继承线程类Thread
  92. *
  93. * Email:530025983@qq.com
  94. *
  95. * @author MONKEY.D.MENG 2011-03-15
  96. *
  97. */
  98. public class Producer extends Thread
  99. {
  100. // 每次生产的产品数量
  101. private int num;
  102. // 所在放置的仓库
  103. private Storage storage;
  104. // 构造函数，设置仓库
  105. public Producer(Storage storage)
  106. {
  107. this.storage = storage;
  108. }
  109. // 线程run函数
  110. public void run()
  111. {
  112. produce(num);
  113. }
  114. // 调用仓库Storage的生产函数
  115. public void produce(int num)
  116. {
  117. storage.produce(num);
  118. }
  119. // get/set方法
  120. public int getNum()
  121. {
  122. return num;
  123. }
  124. public void setNum(int num)
  125. {
  126. this.num = num;
  127. }
  128. public Storage getStorage()
  129. {
  130. return storage;
  131. }
  132. public void setStorage(Storage storage)
  133. {
  134. this.storage = storage;
  135. }
  136. }
  137. /**
  138. * 消费者类Consumer继承线程类Thread
  139. *
  140. * Email:530025983@qq.com
  141. *
  142. * @author MONKEY.D.MENG 2011-03-15
  143. *
  144. */
  145. public class Consumer extends Thread
  146. {
  147. // 每次消费的产品数量
  148. private int num;
  149. // 所在放置的仓库
  150. private Storage storage;
  151. // 构造函数，设置仓库
  152. public Consumer(Storage storage)
  153. {
  154. this.storage = storage;
  155. }
  156. // 线程run函数
  157. public void run()
  158. {
  159. consume(num);
  160. }
  161. // 调用仓库Storage的生产函数
  162. public void consume(int num)
  163. {
  164. storage.consume(num);
  165. }
  166. // get/set方法
  167. public int getNum()
  168. {
  169. return num;
  170. }
  171. public void setNum(int num)
  172. {
  173. this.num = num;
  174. }
  175. public Storage getStorage()
  176. {
  177. return storage;
  178. }
  179. public void setStorage(Storage storage)
  180. {
  181. this.storage = storage;
  182. }
  183. }
  184. /**
  185. * 测试类Test
  186. *
  187. * Email:530025983@qq.com
  188. *
  189. * @author MONKEY.D.MENG 2011-03-15
  190. *
  191. */
  192. public class Test
  193. {
  194. public static void main(String[] args)
  195. {
  196. // 仓库对象
  197. Storage storage = new Storage();
  198. // 生产者对象
  199. Producer p1 = new Producer(storage);
  200. Producer p2 = new Producer(storage);
  201. Producer p3 = new Producer(storage);
  202. Producer p4 = new Producer(storage);
  203. Producer p5 = new Producer(storage);
  204. Producer p6 = new Producer(storage);
  205. Producer p7 = new Producer(storage);
  206. // 消费者对象
  207. Consumer c1 = new Consumer(storage);
  208. Consumer c2 = new Consumer(storage);
  209. Consumer c3 = new Consumer(storage);
  210. // 设置生产者产品生产数量
  211. p1.setNum(10);
  212. p2.setNum(10);
  213. p3.setNum(10);
  214. p4.setNum(10);
  215. p5.setNum(10);
  216. p6.setNum(10);
  217. p7.setNum(80);
  218. // 设置消费者产品消费数量
  219. c1.setNum(50);
  220. c2.setNum(20);
  221. c3.setNum(30);
  222. // 线程开始执行
  223. c1.start();
  224. c2.start();
  225. c3.start();
  226. p1.start();
  227. p2.start();
  228. p3.start();
  229. p4.start();
  230. p5.start();
  231. p6.start();
  232. p7.start();
  233. }
  234. }
  235. 【要消费的产品数量】:50   【库存量】:0 暂时不能执行生产任务!
  236. 【要消费的产品数量】:30   【库存量】:0 暂时不能执行生产任务!
  237. 【要消费的产品数量】:20   【库存量】:0 暂时不能执行生产任务!
  238. 【已经生产产品数】:10    【现仓储量为】:10
  239. 【要消费的产品数量】:20   【库存量】:10    暂时不能执行生产任务!
  240. 【要消费的产品数量】:30   【库存量】:10    暂时不能执行生产任务!
  241. 【要消费的产品数量】:50   【库存量】:10    暂时不能执行生产任务!
  242. 【已经生产产品数】:10    【现仓储量为】:20
  243. 【要消费的产品数量】:50   【库存量】:20    暂时不能执行生产任务!
  244. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
  245. 【已经消费产品数】:20    【现仓储量为】:0
  246. 【已经生产产品数】:10    【现仓储量为】:10
  247. 【已经生产产品数】:10    【现仓储量为】:20
  248. 【已经生产产品数】:80    【现仓储量为】:100
  249. 【要生产的产品数量】:10   【库存量】:100   暂时不能执行生产任务!
  250. 【已经消费产品数】:30    【现仓储量为】:70
  251. 【已经消费产品数】:50    【现仓储量为】:20
  252. 【已经生产产品数】:10    【现仓储量为】:30
  253. 【已经生产产品数】:10    【现仓储量为】:40

看完上述代码，对wait() / notify()方法实现的同步有了了解。你可能会对Storage类中为什么要定义public void produce(int num);和public void consume(int num);方法感到不解，为什么不直接在生产者类Producer和消费者类Consumer中实现这两个方法，却要调用Storage类中的实现呢？淡定，后文会有解释。我们先往下走。

二、await() / signal()方法

在JDK5.0之后，Java提供了更加健壮的线程处理机制，包括同步、锁定、线程池等，它们可以实现更细粒度的线程控制。await()和signal()就是其中用来做同步的两种方法，它们的功能基本上和wait() / nofity()相同，完全可以取代它们，但是它们和新引入的锁定机制Lock直接挂钩，具有更大的灵活性。通过在Lock对象上调用newCondition()方法，将条件变量和一个锁对象进行绑定，进而控制并发程序访问竞争资源的安全。下面来看代码：

[java] view plain copy
  1. import java.util.LinkedList;
  2. import java.util.concurrent.locks.Condition;
  3. import java.util.concurrent.locks.Lock;
  4. import java.util.concurrent.locks.ReentrantLock;
  5. /**
  6. * 仓库类Storage实现缓冲区
  7. *
  8. * Email:530025983@qq.com
  9. *
  10. * @author MONKEY.D.MENG 2011-03-15
  11. *
  12. */
  13. public class Storage
  14. {
  15. // 仓库最大存储量
  16. private final int MAX_SIZE = 100;
  17. // 仓库存储的载体
  18. private LinkedList<Object> list = new LinkedList<Object>();
  19. // 锁
  20. private final Lock lock = new ReentrantLock();
  21. // 仓库满的条件变量
  22. private final Condition full = lock.newCondition();
  23. // 仓库空的条件变量
  24. private final Condition empty = lock.newCondition();
  25. // 生产num个产品
  26. public void produce(int num)
  27. {
  28. // 获得锁
  29. lock.lock();
  30. // 如果仓库剩余容量不足
  31. while (list.size() + num > MAX_SIZE)
  32. {
  33. System.out.println("【要生产的产品数量】:" + num + "/t【库存量】:" + list.size()
  34. + "/t暂时不能执行生产任务!");
  35. try
  36. {
  37. // 由于条件不满足，生产阻塞
  38. full.await();
  39. }
  40. catch (InterruptedException e)
  41. {
  42. e.printStackTrace();
  43. }
  44. }
  45. // 生产条件满足情况下，生产num个产品
  46. for (int i = 1; i <= num; ++i)
  47. {
  48. list.add(new Object());
  49. }
  50. System.out.println("【已经生产产品数】:" + num + "/t【现仓储量为】:" + list.size());
  51. // 唤醒其他所有线程
  52. full.signalAll();
  53. empty.signalAll();
  54. // 释放锁
  55. lock.unlock();
  56. }
  57. // 消费num个产品
  58. public void consume(int num)
  59. {
  60. // 获得锁
  61. lock.lock();
  62. // 如果仓库存储量不足
  63. while (list.size() < num)
  64. {
  65. System.out.println("【要消费的产品数量】:" + num + "/t【库存量】:" + list.size()
  66. + "/t暂时不能执行生产任务!");
  67. try
  68. {
  69. // 由于条件不满足，消费阻塞
  70. empty.await();
  71. }
  72. catch (InterruptedException e)
  73. {
  74. e.printStackTrace();
  75. }
  76. }
  77. // 消费条件满足情况下，消费num个产品
  78. for (int i = 1; i <= num; ++i)
  79. {
  80. list.remove();
  81. }
  82. System.out.println("【已经消费产品数】:" + num + "/t【现仓储量为】:" + list.size());
  83. // 唤醒其他所有线程
  84. full.signalAll();
  85. empty.signalAll();
  86. // 释放锁
  87. lock.unlock();
  88. }
  89. // set/get方法
  90. public int getMAX_SIZE()
  91. {
  92. return MAX_SIZE;
  93. }
  94. public LinkedList<Object> getList()
  95. {
  96. return list;
  97. }
  98. public void setList(LinkedList<Object> list)
  99. {
  100. this.list = list;
  101. }
  102. }
  103. 【要消费的产品数量】:50   【库存量】:0 暂时不能执行生产任务!
  104. 【要消费的产品数量】:30   【库存量】:0 暂时不能执行生产任务!
  105. 【已经生产产品数】:10    【现仓储量为】:10
  106. 【已经生产产品数】:10    【现仓储量为】:20
  107. 【要消费的产品数量】:50   【库存量】:20    暂时不能执行生产任务!
  108. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
  109. 【已经生产产品数】:10    【现仓储量为】:30
  110. 【要消费的产品数量】:50   【库存量】:30    暂时不能执行生产任务!
  111. 【已经消费产品数】:20    【现仓储量为】:10
  112. 【已经生产产品数】:10    【现仓储量为】:20
  113. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
  114. 【已经生产产品数】:80    【现仓储量为】:100
  115. 【要生产的产品数量】:10   【库存量】:100   暂时不能执行生产任务!
  116. 【已经消费产品数】:50    【现仓储量为】:50
  117. 【已经生产产品数】:10    【现仓储量为】:60
  118. 【已经消费产品数】:30    【现仓储量为】:30
  119. 【已经生产产品数】:10    【现仓储量为】:40

只需要更新仓库类Storage的代码即可，生产者Producer、消费者Consumer、测试类Test的代码均不需要进行任何更改。这样我们就知道为神马我要在Storage类中定义public void produce(int num);和public void consume(int num);方法，并在生产者类Producer和消费者类Consumer中调用Storage类中的实现了吧。将可能发生的变化集中到一个类中，不影响原有的构架设计，同时无需修改其他业务层代码。无意之中，我们好像使用了某种设计模式，具体是啥我忘记了，啊哈哈，等我想起来再告诉大家~

三、BlockingQueue阻塞队列方法

BlockingQueue是JDK5.0的新增内容，它是一个已经在内部实现了同步的队列，实现方式采用的是我们第2种await() / signal()方法。它可以在生成对象时指定容量大小。它用于阻塞操作的是put()和take()方法。

put()方法：类似于我们上面的生产者线程，容量达到最大时，自动阻塞。

take()方法：类似于我们上面的消费者线程，容量为0时，自动阻塞。

关于BlockingQueue的内容网上有很多，大家可以自己搜，我在这不多介绍。下面直接看代码，跟以往一样，我们只需要更改仓库类Storage的代码即可：

[java] view plain copy
  1. import java.util.concurrent.LinkedBlockingQueue;
  2. /**
  3. * 仓库类Storage实现缓冲区
  4. *
  5. * Email:530025983@qq.com
  6. *
  7. * @author MONKEY.D.MENG 2011-03-15
  8. *
  9. */
  10. public class Storage
  11. {
  12. // 仓库最大存储量
  13. private final int MAX_SIZE = 100;
  14. // 仓库存储的载体
  15. private LinkedBlockingQueue<Object> list = new LinkedBlockingQueue<Object>(
  16. 100);
  17. // 生产num个产品
  18. public void produce(int num)
  19. {
  20. // 如果仓库剩余容量为0
  21. if (list.size() == MAX_SIZE)
  22. {
  23. System.out.println("【库存量】:" + MAX_SIZE + "/t暂时不能执行生产任务!");
  24. }
  25. // 生产条件满足情况下，生产num个产品
  26. for (int i = 1; i <= num; ++i)
  27. {
  28. try
  29. {
  30. // 放入产品，自动阻塞
  31. list.put(new Object());
  32. }
  33. catch (InterruptedException e)
  34. {
  35. e.printStackTrace();
  36. }
  37. System.out.println("【现仓储量为】:" + list.size());
  38. }
  39. }
  40. // 消费num个产品
  41. public void consume(int num)
  42. {
  43. // 如果仓库存储量不足
  44. if (list.size() == 0)
  45. {
  46. System.out.println("【库存量】:0/t暂时不能执行生产任务!");
  47. }
  48. // 消费条件满足情况下，消费num个产品
  49. for (int i = 1; i <= num; ++i)
  50. {
  51. try
  52. {
  53. // 消费产品，自动阻塞
  54. list.take();
  55. }
  56. catch (InterruptedException e)
  57. {
  58. e.printStackTrace();
  59. }
  60. }
  61. System.out.println("【现仓储量为】:" + list.size());
  62. }
  63. // set/get方法
  64. public LinkedBlockingQueue<Object> getList()
  65. {
  66. return list;
  67. }
  68. public void setList(LinkedBlockingQueue<Object> list)
  69. {
  70. this.list = list;
  71. }
  72. public int getMAX_SIZE()
  73. {
  74. return MAX_SIZE;
  75. }
  76. }
  77. 【库存量】:0 暂时不能执行生产任务!
  78. 【库存量】:0 暂时不能执行生产任务!
  79. 【现仓储量为】:1
  80. 【现仓储量为】:1
  81. 【现仓储量为】:3
  82. 【现仓储量为】:4
  83. 【现仓储量为】:5
  84. 【现仓储量为】:6
  85. 【现仓储量为】:7
  86. 【现仓储量为】:8
  87. 【现仓储量为】:9
  88. 【现仓储量为】:10
  89. 【现仓储量为】:11
  90. 【现仓储量为】:1
  91. 【现仓储量为】:2
  92. 【现仓储量为】:13
  93. 【现仓储量为】:14
  94. 【现仓储量为】:17
  95. 【现仓储量为】:19
  96. 【现仓储量为】:20
  97. 【现仓储量为】:21
  98. 【现仓储量为】:22
  99. 【现仓储量为】:23
  100. 【现仓储量为】:24
  101. 【现仓储量为】:25
  102. 【现仓储量为】:26
  103. 【现仓储量为】:12
  104. 【现仓储量为】:1
  105. 【现仓储量为】:1
  106. 【现仓储量为】:2
  107. 【现仓储量为】:3
  108. 【现仓储量为】:4
  109. 【现仓储量为】:5
  110. 【现仓储量为】:6
  111. 【现仓储量为】:7
  112. 【现仓储量为】:27
  113. 【现仓储量为】:8
  114. 【现仓储量为】:6
  115. 【现仓储量为】:18
  116. 【现仓储量为】:2
  117. 【现仓储量为】:3
  118. 【现仓储量为】:4
  119. 【现仓储量为】:5
  120. 【现仓储量为】:6
  121. 【现仓储量为】:7
  122. 【现仓储量为】:8
  123. 【现仓储量为】:9
  124. 【现仓储量为】:10
  125. 【现仓储量为】:16
  126. 【现仓储量为】:11
  127. 【现仓储量为】:12
  128. 【现仓储量为】:13
  129. 【现仓储量为】:14
  130. 【现仓储量为】:15
  131. 【现仓储量为】:1
  132. 【现仓储量为】:2
  133. 【现仓储量为】:3
  134. 【现仓储量为】:3
  135. 【现仓储量为】:15
  136. 【现仓储量为】:1
  137. 【现仓储量为】:0
  138. 【现仓储量为】:1
  139. 【现仓储量为】:1
  140. 【现仓储量为】:1
  141. 【现仓储量为】:2
  142. 【现仓储量为】:3
  143. 【现仓储量为】:4
  144. 【现仓储量为】:0
  145. 【现仓储量为】:1
  146. 【现仓储量为】:5
  147. 【现仓储量为】:6
  148. 【现仓储量为】:7
  149. 【现仓储量为】:8
  150. 【现仓储量为】:9
  151. 【现仓储量为】:10
  152. 【现仓储量为】:11
  153. 【现仓储量为】:12
  154. 【现仓储量为】:13
  155. 【现仓储量为】:14
  156. 【现仓储量为】:15
  157. 【现仓储量为】:16
  158. 【现仓储量为】:17
  159. 【现仓储量为】:1
  160. 【现仓储量为】:1
  161. 【现仓储量为】:2
  162. 【现仓储量为】:3
  163. 【现仓储量为】:4
  164. 【现仓储量为】:5
  165. 【现仓储量为】:6
  166. 【现仓储量为】:3
  167. 【现仓储量为】:3
  168. 【现仓储量为】:1
  169. 【现仓储量为】:2
  170. 【现仓储量为】:3
  171. 【现仓储量为】:4
  172. 【现仓储量为】:5
  173. 【现仓储量为】:6
  174. 【现仓储量为】:7
  175. 【现仓储量为】:8
  176. 【现仓储量为】:9
  177. 【现仓储量为】:10
  178. 【现仓储量为】:11
  179. 【现仓储量为】:12
  180. 【现仓储量为】:13
  181. 【现仓储量为】:14
  182. 【现仓储量为】:15
  183. 【现仓储量为】:16
  184. 【现仓储量为】:17
  185. 【现仓储量为】:18
  186. 【现仓储量为】:19
  187. 【现仓储量为】:6
  188. 【现仓储量为】:7
  189. 【现仓储量为】:8
  190. 【现仓储量为】:9
  191. 【现仓储量为】:10
  192. 【现仓储量为】:11
  193. 【现仓储量为】:12
  194. 【现仓储量为】:13
  195. 【现仓储量为】:14
  196. 【现仓储量为】:15
  197. 【现仓储量为】:16
  198. 【现仓储量为】:17
  199. 【现仓储量为】:18
  200. 【现仓储量为】:19
  201. 【现仓储量为】:20
  202. 【现仓储量为】:21
  203. 【现仓储量为】:22
  204. 【现仓储量为】:23
  205. 【现仓储量为】:24
  206. 【现仓储量为】:25
  207. 【现仓储量为】:26
  208. 【现仓储量为】:27
  209. 【现仓储量为】:28
  210. 【现仓储量为】:29
  211. 【现仓储量为】:30
  212. 【现仓储量为】:31
  213. 【现仓储量为】:32
  214. 【现仓储量为】:33
  215. 【现仓储量为】:34
  216. 【现仓储量为】:35
  217. 【现仓储量为】:36
  218. 【现仓储量为】:37
  219. 【现仓储量为】:38
  220. 【现仓储量为】:39
  221. 【现仓储量为】:40

当然，你会发现这时对于public void produce(int num);和public void consume(int num);方法业务逻辑上的实现跟前面两个例子不太一样，没关系，这个例子只是为了说明BlockingQueue阻塞队列的使用。

有时使用BlockingQueue可能会出现put()和System.out.println()输出不匹配的情况，这是由于它们之间没有同步造成的。当缓冲区已满，生产者在put()操作时，put()内部调用了await()方法，放弃了线程的执行，然后消费者线程执行，调用take()方法，take()内部调用了signal()方法，通知生产者线程可以执行，致使在消费者的println()还没运行的情况下生产者的println()先被执行，所以有了输出不匹配的情况。

相关文章