线程池的使用场景和代码实现
mhr18 2024-12-06 16:54 26 浏览 0 评论
推荐视频:
BAT面试必备:多线程、多进程、协程如何选择及线程池如何最高效
c/c++ linux服务器开发学习地址:C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂
一、线程池的实现:
1、为啥要用到线程池?
多线程编程,大家这个应该很熟悉了,上次有一位朋友问了一个问题,一个线程大概占用多大内存大小,一般按照POSIX标准来算的话,一个线程大概在8M左右,但是我们一般内存资源有限,在进行高并发的时候,比如说,多个客户端同时向服务器端发送请求:
这个时候,你想一下给这么多客户端都分配开一个大概8M的内存大小,这现实嘛,显然行不通的嘛,我们来计算一下:
- 一个线程:8M
- 1024M可以开128个线程
- 16G内存大小可以开16x128,计算下来大概在2048个线程
所以百万级个客户端都分配开一个线程的话,那内存资源肯定是不够的,所以这涉及到我们的线程池了,这也是为什么在这种场景下要使用线程池了!
为了帮助大家更好的理解线程池这个概念,我们还是举一个生活当中的实际场景吧;去银行存钱或者办理相关业务,这个大家都不陌生吧,你到了银行里面,一般来说的话,都要排队在窗口等待前面的人把业务办理完,才能够轮到你来办理你想要办理的业务,而窗口里面就是帮你办理各种业务的银行工作人员,同时一般窗口办理业务上面有一个提示电子信息,如果轮到了你,就会通知你,你就知道了轮到自己办理业务了。
这里换个专业的角度来说(也不专业哈,只是一个打比方),你来办理的这个业务就是一个任务(也就是一个线程,可以说成任务队列,因为要排队嘛,不可能一下子执行那么多任务,任务队列里面的任务必须一个一个执行),而银行工作人员相当于从任务队列里面拿一个任务来执行,你可以把银行工作人员看成是执行任务队列;而电子显示通知信息,你可以把它看成防止多个业务同时在一个窗口让一个银行工作人员来办理,两个窗口也就是两个银行工作人员同时办理一个业务,也就是说这个电子显示信息是一个管理组件,管理任务是否可以去办理,管理着银行工作人员是否开始办理业务任务,不让他们乱套了,合理有效的执行任务。
那么你从上面可以看到,使用线程池的优点了:
- 避免线程太多,使得内存耗尽
- 开始的时候,你可以把创建好的线程放入到线程池当中去,当我们要用的时候,就可以从线程池里面拿一个线程来用,用完这个线程的时候,再把这个线程放回到线程池里面;避免创建线程与销毁的代价
2、线程池实现模板步骤:
其实这个线程池的实现大概流程步骤都差不多,如果大家平时仔细看公司代码或者说自己去实现一个线程池的话,大概实现模板如下:
- 任务队列(前来办理业务的人)
- 执行队列(就是银行工作人员执行任务队列里面的任务)
- 管理组件(管理任务有序的执行)
3、线程池实现结构体定义:
- 任务队列:
struct nTask
{
//用函数指针来存放不同的任务
void (*task_func)(struct nTask *task);
//这个参数用来做任务执行的参数
void *user_data;
//链表节点的定义,这里采用链表的方式实现
struct nTask *prev;
struct nTask *next;
};
- 执行队列:
struct nWorker
{
pthread_t threadid;//线程id
int terminate;//表示是否终止任务
//表示银行工作人员要执行任务还要向执行组件通告一下
struct nManager *manager;
//还是通过链表的方式来实现执行队列
struct nWorker *prev;
struct nWorker *next;
};
注意:这里如果没有办理业务的人来,银行工作人员只能在哪里等待任务的到来,然后再执行任务。
- 管理组件:
typedef struct nManager
{
struct nTask *task;
struct nWorker *workers;
pthread_mutex_t mutex;//互斥锁
pthread_cond_t cond;//条件变量
}ThreadPool;
- 链表的插入和删除模板:
//插入
#define LIST_INSERT(item,list) do{\
item->prev=NULL; \
item->next=list; \
if((list)!=NULL) list->prev=item;\
list=item;
}while(0)
//删除
#define LIST_REMOVE(item,list) do{ \
if(item->prev != NULL) item->prev->next = item->next; \
if(item->next !=NULL) item->next->prev=item->prev; \
if(list == item)list = item->netx; \
item->prev=item->next=NULL;\
}while(0)
}
【文章福利】需要C/C++ Linux服务器架构师学习资料加群812855908(资料包括C/C++,Linux,golang技术,内核,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg等)
4、线程池接口定义如下:
- 1、线程池初始化接口:
int nThreadPoolCreate(ThreadPool *pool,int numWorkers)
{
//参数pool表示线程池,numWorkers表示线程池里面有多少个任务
}
- 2、线程池销毁接口:
int nThreadPoolDestory(ThreadPool *pool,int nWorker)
{
}
- 3、往线程池里面添加任务接口:
int nThreadPoolPushTask(ThreadPool *pool,struct nTask *task)
{
}
- 4、线程回调函数:
void *nThreadPoolCallback(void *arg)
{
}
二、线程池工程代码:
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <pthread.h>
//链表插入
#define LIST_INSTER(item,list)do{ \
item->prev=NULL; \
item->next=next; \
if(list!=NULL) list->prev=item; \
list=item;
}while(0)
//删除
#define LIST_REMOVE(item,list)do { \
if(item->prev!=NULL)item->prev->next=item->next; \
if(item->next!=NULL)itme->next->prev=item->prev;\
if(list==item)list=item->next;
item->prev=item->next=NULL;
}while(0)
//任务队列
struct nTask
{
void(*task_funt)(struct nTask *task);
void *uset_data;
struct nTask *prev;
struct nTask *next;
};
//执行队列
struct nWorker
{
pthread_t threadid;
int terminate;
struct nManager *manager;
struct nWorker *prev;
struct nWorker *next;
};
//管理组件
typedef struct nManager
{
struct nTask *tasks;
struct nWoker *workers;
pthread_mutex_t mutex;
pthread_cond_t cond;
}ThreadPool;
//线程回调函数
void *nThreadPoolCallback(void *arg)
{
struct nWorker *worker=(struct nWorker*)arg;
while(1)
{
//判断是否有任务
pthread_mutex_lock(&worker->manager-mutex);
while(worker->manager->tasks==NULL)
{
if(worker-terminate)
break;
pthread_cond_wait(&worker->manager->cond,&worker->manager->mutex);//如果没有任务,一直等待任务的到来
}
if(worker->terminate)
{
pthread_mutex_unlock(&worker->manager->mutex);
break;
}
struct nTask *task = worker->manager->tasks;
LIST_REMOVE(task,worker->manager->tasks);
pthread_mutex_unlock(&worker->manager->mutex);
task->task_func(task);
}
free(worker);
}
//创建线程池
int nThreadPoolCreate(ThreadPool *pool, int numWorkers)
{
if(pool == NULL) return -1;
if(numWorkers < 1)numWorkers =1;
memset(&pool,0,sizeof(ThreadPool));
//开始初始化
pthread_cond_t blank_cond = PTHREAD_COND_INITIALIZER;
memcpy(&pool->cond,&blank_cond,sizeof(pthread_cond_t));
pthread_mutex_t blank_mutex =PTHREAD_MUTEX_INITIALIZER;
memcpy(&pool->mutex,&blank_mutex,sizeof(pthread_mutex_t));
int i =0;//开线程的个数,也就是执行任务的个数
for(i=0;i < numWorkers;i++)
{
struct nWorker *worker =(struct nWorker*)malloc(sizeof(struct nWorker));
if(worker == NUll)
{
perror("malloc");
return -2;
}
memset(worker,0,sizeof(struct nWorker));
worker->manager=pool;
//创建线程
int ret=pthread_create(&worker->pthreadid,NULL,nThreadPoolCallback,worker);
if(ret)
{
perror("pthread_create");
free(worker);
return -3;
}
LIST_INSERT(worker,pool->workers);
}
}
//线程池销毁
int nThreadPoolDestory(ThreadPool *pool,int nWorker)
{
struct nWorker *worker = NULL;
for(worker=pool->workers;worker!=NULL;worker=worker->next)
{
worker->terminate;
}
pthread_mutex_lock(&pool->mutex);
pthread_cond_broadcast(&pool->cond);//做一个广播通知
pthread_mutex_unlock(&pool->mutex);
pool->workers = NULL;
pool->tasks = NULL;
}
//往线程池里面添加任务
int nThreadPoolPushTask(ThreadPool *pool,struct nTask *task)
{
pthread_mutex_lock(&pool->mutex);
LIST_INSERTER(task,pool->tasks);
pthread_cond_sigal(&pool->cond);// 发送一个信号,有人来办理业务了
pthread_mutex_unlock(&pool-mutex);
}
#if 1
#define THREADPOOL_INIT_COUNT 20
#define TASK_INIT_SIZE 1000
void task_entry(struct nTask *task) { //type
//struct nTask *task = (struct nTask*)task;
int idx = *(int *)task->user_data;
printf("idx: %d\n", idx);
free(task->user_data);
free(task);
}
int main(void) {
ThreadPool pool = {0};
nThreadPoolCreate(&pool, THREADPOOL_INIT_COUNT);
// pool --> memset();
int i = 0;
for (i = 0;i < TASK_INIT_SIZE;i ++) {
struct nTask *task = (struct nTask *)malloc(sizeof(struct nTask));
if (task == NULL) {
perror("malloc");
exit(1);
}
memset(task, 0, sizeof(struct nTask));
task->task_func = task_entry;
task->user_data = malloc(sizeof(int));
*(int*)task->user_data = i;
nThreadPoolPushTask(&pool, task);
}
getchar();
}
代码量稍微有点多,大家可以多多看看几遍!
- 上一篇:线程池的使用与优化
- 下一篇:面试官:如何实现线程池任务编排?
相关推荐
- 一文带您了解数据库的行列之争:行式与列式存储的异同
-
数据库存储格式是数据库管理系统中一个至关重要的方面,它直接影响到数据的组织和检索效率。在数据库中,有两种主要的存储格式,即行式存储和列式存储。这两者采用截然不同的方法来组织和存储数据,各自具有一系列优...
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
-
老规矩,先看效果下面的demo来自试用的SuperSonic,将会在下面详细介绍:大模型时代Text-to-SQL特点随着基于LLM技术的发展,RAG/AIAgent/Fine...
- JDK25长期支持版九月降临:18项王炸功能全解析
-
Java要放大招啦!9月份推出的JDK25长期支持版已经锁定18个超能力,从稳定值到结构化并发,还有Linux系统下的"预知未来"性能分析!下面我用打游戏的术语给你们掰扯明白:1、飞...
- OceanBase 推出单机版 高度兼容MySQL和Oracle
-
【环球网科技综合报道】3月27日,独立数据库厂商OceanBase正式发布单机版产品。据悉,这一产品基于自主研发的单机分布式一体化架构设计,具备极简数据库架构和高度兼容性,为中小规模业务提供兼具性能与...
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
-
由于今年7月1日全世界会多出一秒,这可能对时间敏感的IT系统造成较大影响。中亦科技数据库团队对此问题做了深入的研究,并对用户系统提出了相应的解决方法及建议。中亦科技数据库产品总监黄远邦认为,闰秒调整会...
- MySQL数据库密码忘记了,怎么办?(mysql 数据库密码)
-
#头条创作挑战赛#MySQL数据库密码忘记了且没有其他可以修改账号密码的账户时怎么办呢?登录MySQL,密码输入错误/*密码错误,报如下错误*/[root@TESTDB~]#mysql-u...
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
-
OntherightisBanghuaZhu,ChiefResearchScientistatNVIDIATMTPOST--SiliconValley’stoptech...
- 用Cursor开启JAVA+AI生涯(javascirpt怎么开启)
-
Cursor是基于VSCode开发的一款编辑器,支持多种语言的开发编辑。与传统的开发工具相比,它有多种优势:与AI无缝集成,响应速度快,占用内存小。但很多同学在"起步"过程中遇到了...
- 毕业十年了,自从做了开发用了很多软件,但距离写开发工具还很远
-
办公系统类:办公软件Word、Excel、PowerPoint三大必备技能+腾讯/金山在线文档解压缩操作:7-zip/winrar文件文本处理:Notepad++(文本编辑器正则表达式超级好...
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
-
一、Stack类:“继承Vector”的历史bug,为何成了性能拖油瓶?你是不是在学Java集合时,老师说过“栈结构用Stack类”?是不是在老代码里见过"newStack<>(...
- Gemini 2.5 Pro 0506发布,编程最强大模型, 碾压 Claude3.7 sonnent
-
一、Gemini2.5Pro(I/Oedition)发布1、为何叫I/Oedition?谷歌史上最强编程模型Gemini2.5Pro(I/Oedition)发布,具体型号是Gemin...
- 如何让无聊变得有趣(附本人大量美图)
-
文/图:金冬成在这条长300公里的公路上,我已经来回往返了无数次。3小时车程,一个人,想想都是多么无聊的一件事。其实,人生道路上,类似这种无聊的事情有很多很多。无聊的事情、枯燥的工作,往往让我们容易失...
- Oracle 推出 Java 24,增强 AI 支持和后量子加密
-
导读:Oracle宣布正式发布Java24,该语言增加了几个新功能,例如StreamGatherersAPI和Class-FileAPI的可用性,以及专门为AI推理和量子安全设计...
- 公司ERP突然变慢?“索引重建”这颗“药”可不能随便吃!
-
各位老板、IT小哥、财务小姐姐,有没有遇到过公司ERP系统突然卡顿得像“老爷车”,点个按钮半天没反应,急得直跺脚?这时候,可能有人会跳出来说:“我知道,重建一下数据库索引就好了!”听起来像个“神操作”...
- 基于Java实现,支持在线发布API接口读取数据库,有哪些工具?
-
基于java实现,不需要编辑就能发布api接口的,有哪些工具、平台?还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计:以下是一些基于Java实现的无需编辑或只需少量编辑...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 一文带您了解数据库的行列之争:行式与列式存储的异同
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
- JDK25长期支持版九月降临:18项王炸功能全解析
- OceanBase 推出单机版 高度兼容MySQL和Oracle
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
- MySQL数据库密码忘记了,怎么办?(mysql 数据库密码)
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
- 用Cursor开启JAVA+AI生涯(javascirpt怎么开启)
- 毕业十年了,自从做了开发用了很多软件,但距离写开发工具还很远
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)