C++ 线程池实现原理

背景

多线程编程是C++开发者的一个基本功, 但是很多开发者都是直接使用公司给包装好的线程池库, 没有去了解具体实现,有些实现也都因为高度优化而写得讳莫如深,让初学者看得吃力。

所以写这篇文章主要是想以非常简单的方式讲讲实现原理, 希望初学者看完之后不是觉得「不明觉厉」,而是觉得「原来如此」。

面朝代码

首先先来一段超级简单(注释丰富)的代码展示多线程编程的经典写法。

注: 该段代码和完整运行示例请见 limonp-thread-pool-programming-example , 可以通过以下命令跑通示例代码和输出结果,建议尝试以下。当然记得前提是该机器的网络可以访问 GitHub 的情况下。 可能因为在中国访问 GitHub 并不是很稳定,不是每次都能成功,所以如果卡住的话就多make几次。

上面代码注释已经非常详细,一路看下来可能最困惑的应该是 NewClosure 闭包创建函数。 很多人谈到闭包就觉得是一个很高深或者是坑很深的问题,但是此闭包非JavaScript的闭包。 是一个简单版本,只考虑值拷贝,不考虑引用类型的参数。

所以在该代码中三个参数,第一个是类对象的指针,第二个是成员函数的指针,第三个是int,都是值传递。 在此不支持引用传递的参数。

简单闭包实现

假设你现在已经运行了刚才的这三行命令。

一切运行正常的话,应该目前所在的目录里面有 limonp-0.5.1 这个目录。 然后可以在

文件中看到 NewClosure 函数的定义,NewClosure 是一个模板函数,所以才能支持多种多样的类型。 但是也让代码变得晦涩很多。

但是 NewClosure 的实现原理最主要的是生成一个满足 ClosureInterface 接口定义的对象而已。

同时这个 ClosureInterface 也异常的简单,如下:

因为当这个 Closure 对象被扔进线程池之后,其实是进入了一个队列中。 然后线程池的多个线程去从队列中获取Closure指针,然后调用该 Run() 函数。

注意到,NewClosure 其实是生成一个对象指针,我们只是构造了这个对象,但是没有销毁它? 是否会造成内存泄露? 显然不会,原因是在线程池中,调用完 Closure 中的 Run() 函数之后, 会 delete 该指针,所以不会造成内存泄露。

到这里只剩下一个最关键的困惑点就是 Run() 的具体实现。 也就是如何通过如下代码将 Append 这个类成员函数变成一个实现了 Run() 函数的 Closure 对象?

因为 NewClosure 是模板函数,支持各种参数类型,但是对于本文的例子,实际上调用的 NewClosure 函数实现如下:

所以实际上创建的对象是 ObjClosure1 , 依然是在源码

中可以找到 ObjClosure1 的实现,如下代码:

真相大白

到这里真相基本上就浮出水面了。 类的对象指针,成员函数指针,函数的参数,都作为 ObjClosure1 的类成员变量存储着。 然后在函数 Run() 里面再用起来。

可能看到这里的时候有点不理解,这里就涉及到类成员函数指针的调用。 显然因为类的成员函数是需要 this 指针的,这个写过 C++ 的应该都知道。 所以直接像C语言那样调用函数(如下),显然是不可能的,没有传入 this 指针嘛。

所以在 C++ 中,调用类的成员函数指针,是如下这样:

这样才能把 p_ 当成 this 指针传进去。

这样就实现了之前的 NewClosure 将 「类,类成员函数指针,函数参数」打包成一个闭包供线程池调用的意图。

所以就有了最开始示例代码那种写法。

最后

感觉自己写的还是很通俗易懂的,有具体代码,而且还是可一键下载运行的, 然后最底层的代码实现也都解释了。 应该算是很对得起本文题目了吧。

『题图』

题图是爱因斯坦,爱因斯坦代表高智商的大脑。 而在计算机领域,单核CPU计算性能已经很难有大的突破,发展趋势是多核计算。 所以多线程编程是这个时代的必备基础技能。

打赏支持我写出更多好文章,谢谢!

打赏作者

打赏支持我写出更多好文章,谢谢!

1 11 收藏 5 评论

关于作者:yanyiwu

搜索和推荐方向 个人主页 · 我的文章 · 8 ·    

相关文章

可能感兴趣的话题



直接登录
最新评论
  • 阿喵 啥也没研究的研究生-.- 2016/05/12

    hei,写的是很清晰易懂了,谢谢!

    不过,个别的代码是不完整的,一些 "cout" 后缺少了 "<<",另外,"limonp::NewClosure" 的定义也是缺失了参数列表。虽然可以根据上下文推断出来,不过,多少显得有些瑕疵。^_^

    • 黄利民 站长 2016/05/12

      非作者的问题,转到这边时被过滤掉了。已代修改更新 :)

      • 阿喵 啥也没研究的研究生-.- 2016/05/12

        嗯嗯,我刚去他自己的网站看了一下,是正常的,看到了 github 上的活跃天数,我辈楷模啊 :)

  • 梦依旧   2016/05/13

    请问git clone之后的#include "limonp/ThreadPool.hpp",这个头文件跑哪里去了? 。。build失败啊

跳到底部
返回顶部