用 C++ 写线程池是怎样一种体验?
mhr18 2025-05-14 14:57 40 浏览 0 评论
在过去的几年里,我用 C++ 写过各种各样的线程池,包括最简单固定线程数的、运行时动态调整线程数的、有存活时间的、有任务队列长度限制的、底层用纤程的、支持多个线程池合并以复用资源的、脱离管程完全从底层实现的(仅以 POSIX 中 Futex 作为同步原语)、支持定时任务的、支持批量提交的、支持 Future 的等等。所以我认为我有资格回答这个问题。
起初我写线程池的时候完全不知道什么是管程(Monitor,事实上这也是大部分线程池实现的基础,不管是什么语言),只是想封装一个足够便携、扩展性强大的线程池自己用(毕竟当时也不知道什么是“开源”)。
于是乎,我便开始了艰难的尝试,先后用过 Windows 下(没错,那时候我还没接触过 Linux 系统,不了解 C++11 的并发库,也不知道有什么第三方库,主要参考的是 MoreWindows 同学的 CSDN 博客)的各种 API,包括 Event、Mutex、Semaphore 等各种组件,唯独没试过用 CRITICAL_SECTION + ConditionVariable 的黄金组合(这才是“真 · 管程”!),因为 ConditionVariable 是 Windows Vista 以后才支持的,而我当时用的是 Windows XP(微软说,这锅我不背)。
当然,不用管程写线程池的结局当然是很悲惨的(哭)。即使之前搞过算法竞赛,我写出来的线程池似乎也永远都有 de 不完的 bug(我总能构造出让我的线程池罢工的 case,但事实上我到现在也不会用 IDE debug);直到写过几个版本后,我终于用 Windows 的 Event 实现了一个线程池,并用洪荒之力从数学的角度证明了它是正确的——这也是我第一个“可以用”的线程池(隔着屏幕可以感受到我的兴奋吗!)。
正如很多孩子得到一个新玩具后爱不释手那样,我拿这个线程池在我的低配电脑上跑了各种并行算法,根本停不下来!我可怜的 CPU 也因为我的“创作”而日常飙到 100%。后来嘛,也正如小孩子玩一个玩具久了之后就不想玩了,我也开始想搞点更大的事情出来。对了,既然并发程序这么难写,为什么不写一套完整的 C++ 并发库呢!
然后,我就开始了我的“并发之旅”。这期间,我买了各种书,问了各种专家,读了各种 paper,也写过各种不靠谱的“并发库”。经过了 89 次的推翻和自我否定,我终于写成了一套看起来还不错的库,我希望它可以被加入到 C++ 标准库,而且我也正在向这个方向努力(这套库目前已经是一篇 C++ 提案了,
http://www.open-std.org/jtc1/sc22/wg21/docs/papers/2017/p0642r1.pdf )。
在我做并发库的同时,我也发现了 C++ 对于多态支持的严重不足(如果提交的任务类型不统一的话,线程池的实现通常也依赖于多态),尤其是一个类与其多态性质的耦合大大降低了程序的扩展性;程序规模越大,这个限制越明显。于是我又做了一套 C++ 多态的解决方案(PFA),目前也是一篇 C++ 提案了(
http://www.open-std.org/jtc1/sc22/wg21/docs/papers/2018/p0957r0.pdf)。当然,任何一个库的设计都可能存在缺陷,也欢迎大家的 feedback!
回归正题,其实用 C++ 写线程池的感觉和用其他语言(例如 Java)很不一样。
姑且不说是实现一个“线程池”,即使是任意一个库,由于 C++ 本身的模板机制和强大的编译优化很容易使得你程序的性能瓶颈暴露无遗,而作为一个基础的“库”,性能通常是一个硬指标,所以要“做好”肯定是有难度的;而 Java 等有 VM 或类 VM 的语言本身就有性能瓶颈,且有运行时的语义抽象开销,所以在你的“库”不会比“语言本身”更低效的情况下,通常不需要考虑性能问题。
而对于“线程池”这类“并发组件”而言,如果我们的目标是“尽善尽美”的话,C++ 的实现难度无疑更大;为了更好的性能,我们也有可能针对不同的平台选择不同的原语。但如果不需要追求这种“理论上的最优”,用 C++ 写一个高性能线程池也并没有大家想象中的那么复杂;只要你可以熟练使用管程(即 std::mutex 和 std::condition_variable)就足够了。例如,下面这就是我写的一个最基本的“固定线程数的线程池”实现:
#include <mutex>
#include <condition_variable>
#include <functional>
#include <queue>
#include <thread>
class fixed_thread_pool {
public:
explicit fixed_thread_pool(size_t thread_count)
: data_(std::make_shared<data>()) {
for (size_t i = 0; i < thread_count; ++i) {
std::thread([data = data_] {
std::unique_lock<std::mutex> lk(data->mtx_);
for (;;) {
if (!data->tasks_.empty()) {
auto current = std::move(data->tasks_.front());
data->tasks_.pop();
lk.unlock();
current();
lk.lock();
} else if (data->is_shutdown_) {
break;
} else {
data->cond_.wait(lk);
}
}
}).detach();
}
}
fixed_thread_pool() = default;
fixed_thread_pool(fixed_thread_pool&&) = default;
~fixed_thread_pool() {
if ((bool) data_) {
{
std::lock_guard<std::mutex> lk(data_->mtx_);
data_->is_shutdown_ = true;
}
data_->cond_.notify_all();
}
}
template <class F>
void execute(F&& task) {
{
std::lock_guard<std::mutex> lk(data_->mtx_);
data_->tasks_.emplace(std::forward<F>(task));
}
data_->cond_.notify_one();
}
private:
struct data {
std::mutex mtx_;
std::condition_variable cond_;
bool is_shutdown_ = false;
std::queue<std::function<void()>> tasks_;
};
std::shared_ptr<data> data_;
};
是的!就这么几行代码足够了!不需要保存 std::thread 对象、不需要构造各种复杂的消息模型、不需要构造各种复杂的自动机!核心工作线程的代码仅仅是一个 for 嵌套了一个 if-else 而已! 而且最重要的是,它是正确、可靠的!放在头文件里就能用!
唯一美中不足的就是这个实现不支持提交“不能拷贝构造的对象”,这受限于 std::function 的性质;当然如果把 std::function 换成我关于多态的 C++ 提案中的 proxy 就不存在这个问题了!
另外,关于“管程”的靠谱的中文资料较少。如果题主感兴趣可以去看看 ISO C++ 标准或 IEEE POSIX 标准对其的阐述,搞明白它到底是什么、为什么 wait 需要“原子地”解锁、为什么设计者允许它“假唤醒”。
同学给出的 C++11 实现,有以下看法(很多同学在实现线程池时也会遇到这些问题):
1. 没有必要把停止标志设计为 atomic,更没有必要用 acquire-release 同步。
2. 线程池销毁时等待所有任务执行完成,通常是没有必要的。
3. 工作线程内部存在冗余逻辑;在尚有任务未完成时没有必要检查线程池是否停止。
4. 添加任务时没有必要将任务封装为 std::packaged_task,因为线程池的基本职能是管理 Execution Agents; 如果一定要设计这样一个方法,那也应该保留一个直接提交任务不返回 Future 的方法;事实上,在 C++ 提案 P0443 (
http://www.open-std.org/jtc1/sc22/wg21/docs/papers/2018/p0443r5.html)中,也有类似的设计,不返回 Future 的叫做 "one-way",返回 Future 的叫做 "two-way",很多时候需要从外部控制同步时,"one-way" 比 "two-way" 更实用。
5. 一个 bug:"add" 方法实现中使用了 std::bind,而 std::bind 看起来并不适用于这里。我猜你设计这个方法的语义是执行 add(std::forward<F>(fcn), std::forward<Args>(args)...),从你的返回值类型上也可以看出这一点;但不幸的是,std::bind 的返回值被调用时会讲所有参数转为左值引用! 也就是说,在你的实现中,所有参数在 fnc 执行时都会被拷贝构造一份,对于不能拷贝构造的参数会直接编译出错!
6. 另一个 bug:在线程池的析构函数中,没有对 stop_ 的赋值加锁。为什么需要对 stop_ 的赋值加锁呢?因为这个操作 必须 与工作线程对于 std::condition_variable 的 wait 检查操作互斥!具体原因如下:
对于 std::condition_variable 的 wait(带 Predicate 的版本)展开的代码与下面的代码等价:
while (!pred()) {
cond_var.wait();
}
如果 pred() 不与对于状态的修改互斥的话,工作线程可能会陷入无线等待,也就导致了线程泄漏。
喜欢的朋友可以后台私信【1】获取学习视频
附上一份c++ Linux后台服务器开发 学习课程大纲给大家
相关推荐
- 一文带您了解数据库的行列之争:行式与列式存储的异同
-
数据库存储格式是数据库管理系统中一个至关重要的方面,它直接影响到数据的组织和检索效率。在数据库中,有两种主要的存储格式,即行式存储和列式存储。这两者采用截然不同的方法来组织和存储数据,各自具有一系列优...
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
-
老规矩,先看效果下面的demo来自试用的SuperSonic,将会在下面详细介绍:大模型时代Text-to-SQL特点随着基于LLM技术的发展,RAG/AIAgent/Fine...
- JDK25长期支持版九月降临:18项王炸功能全解析
-
Java要放大招啦!9月份推出的JDK25长期支持版已经锁定18个超能力,从稳定值到结构化并发,还有Linux系统下的"预知未来"性能分析!下面我用打游戏的术语给你们掰扯明白:1、飞...
- OceanBase 推出单机版 高度兼容MySQL和Oracle
-
【环球网科技综合报道】3月27日,独立数据库厂商OceanBase正式发布单机版产品。据悉,这一产品基于自主研发的单机分布式一体化架构设计,具备极简数据库架构和高度兼容性,为中小规模业务提供兼具性能与...
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
-
由于今年7月1日全世界会多出一秒,这可能对时间敏感的IT系统造成较大影响。中亦科技数据库团队对此问题做了深入的研究,并对用户系统提出了相应的解决方法及建议。中亦科技数据库产品总监黄远邦认为,闰秒调整会...
- MySQL数据库密码忘记了,怎么办?(mysql 数据库密码)
-
#头条创作挑战赛#MySQL数据库密码忘记了且没有其他可以修改账号密码的账户时怎么办呢?登录MySQL,密码输入错误/*密码错误,报如下错误*/[root@TESTDB~]#mysql-u...
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
-
OntherightisBanghuaZhu,ChiefResearchScientistatNVIDIATMTPOST--SiliconValley’stoptech...
- 用Cursor开启JAVA+AI生涯(javascirpt怎么开启)
-
Cursor是基于VSCode开发的一款编辑器,支持多种语言的开发编辑。与传统的开发工具相比,它有多种优势:与AI无缝集成,响应速度快,占用内存小。但很多同学在"起步"过程中遇到了...
- 毕业十年了,自从做了开发用了很多软件,但距离写开发工具还很远
-
办公系统类:办公软件Word、Excel、PowerPoint三大必备技能+腾讯/金山在线文档解压缩操作:7-zip/winrar文件文本处理:Notepad++(文本编辑器正则表达式超级好...
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
-
一、Stack类:“继承Vector”的历史bug,为何成了性能拖油瓶?你是不是在学Java集合时,老师说过“栈结构用Stack类”?是不是在老代码里见过"newStack<>(...
- Gemini 2.5 Pro 0506发布,编程最强大模型, 碾压 Claude3.7 sonnent
-
一、Gemini2.5Pro(I/Oedition)发布1、为何叫I/Oedition?谷歌史上最强编程模型Gemini2.5Pro(I/Oedition)发布,具体型号是Gemin...
- 如何让无聊变得有趣(附本人大量美图)
-
文/图:金冬成在这条长300公里的公路上,我已经来回往返了无数次。3小时车程,一个人,想想都是多么无聊的一件事。其实,人生道路上,类似这种无聊的事情有很多很多。无聊的事情、枯燥的工作,往往让我们容易失...
- Oracle 推出 Java 24,增强 AI 支持和后量子加密
-
导读:Oracle宣布正式发布Java24,该语言增加了几个新功能,例如StreamGatherersAPI和Class-FileAPI的可用性,以及专门为AI推理和量子安全设计...
- 公司ERP突然变慢?“索引重建”这颗“药”可不能随便吃!
-
各位老板、IT小哥、财务小姐姐,有没有遇到过公司ERP系统突然卡顿得像“老爷车”,点个按钮半天没反应,急得直跺脚?这时候,可能有人会跳出来说:“我知道,重建一下数据库索引就好了!”听起来像个“神操作”...
- 基于Java实现,支持在线发布API接口读取数据库,有哪些工具?
-
基于java实现,不需要编辑就能发布api接口的,有哪些工具、平台?还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计:以下是一些基于Java实现的无需编辑或只需少量编辑...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 一文带您了解数据库的行列之争:行式与列式存储的异同
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
- JDK25长期支持版九月降临:18项王炸功能全解析
- OceanBase 推出单机版 高度兼容MySQL和Oracle
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
- MySQL数据库密码忘记了,怎么办?(mysql 数据库密码)
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
- 用Cursor开启JAVA+AI生涯(javascirpt怎么开启)
- 毕业十年了,自从做了开发用了很多软件,但距离写开发工具还很远
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)