线程池实现与解释:解决多线程并发服务器创建和销毁线程消耗过大的问题
1.前言
多进程/线程并发服务器、多路I/O转接服务器的简单实现-****博客
原先的多线程并发服务器,有多少个客户端连接服务器就有多少个线程,CPU需要在多个线程之间来回切换处理客户端的请求,系统消耗比较大(每次创建和消耗线程在操作系统内部消耗大)
而select、epoll的多路IO转接服务器,只需要一个进程就可以了,交给了内核维护,系统开销比较小
多进程也是,只不过多个进程的使得可使用的文件描述符变多,能同时处理的客户端数量变得更多,当然资源消耗也大
为了解决多线程每次线程创建好处理完客户端的数据后就销毁线程导致消耗过大,就可以采用线程池的方法,一次性创建一堆线程:
1. 预先创建阻塞于accept多线程,使用互斥锁上锁保护accept(server和clien通信之前就创建好的)
2. 预先创建多线程,由主线程调用accept
client1连接完后,pthread_cond_wati让线程1释放锁阻塞等 待任务队列中任务的到来,client1有数据传给server了,也就是到达server的任务拿到锁了将任务写进了任务队列当中,server用pthread_cond_signal唤醒正在阻塞等待的线程1去处理client的数据,处理完后重新上锁,将线程1还回给线程池而不是去销毁掉,避免掉了开销
线程池解决server创建线程处理数据时服务器的开销
select等则是解决多个client如何去和server建立连接的请求(accept的阻塞性质)
对于线程池应该有动态的机制,当客户量访问太多时,也就是正在忙活的线程数量pthread_busy_num过多,快接近目前线程池存储的线程总数量pthread_live_num时,需要对其进行扩容;当客户量变少时,对线程的数量pthread_live_num进行减少; -- 因此需要专门有一个管理线程来管理线程池
2.案例讲解代码
#define _CRT_SECURE_NO_WARNINGS 1
#include <stdlib.h>
#include<pthread.h>
#include<unistd.h>
#include<assert.h>
#include<stdio.h>
#include<string.h>
#include<signal.h>
#include<errno.h>
#include"threadpool.h"
#define DEFAULT_TIME 10 /*10s检测一次*/
#define MIN WAIT_TASK_NUM 10 /*如果queve size > MIN WAIT TASK NUM 添加新的线程到线程池*/
#define DEFAULT_THREAD_VARY 10 /*每次创建和销毁线程的个数*/
#define true 1
#define false 0
/* A */
typedef struct {
void* (*function)(void*); /*函数指针,回调函数 */
void* arg; /*上面函数的参数 */
}threadpool_task_t; /*各子线程任务结构体 */
/*描述符线程池相关信息*/
struct threadpool_t {
pthread_mutex_t lock; //用于锁住本结构体
pthread_mutex_t thread_counter; //记录忙状态线程个数de琐-- busy_thr_num
pthread_cond_t queue_not_full; //当任务队列满时,添加任务的线程阻塞,等待此条件变量
pthread_cond_t queue_not_empty; //任务队列里不为空时,通知等待任务的线程
pthread_t* threads; //存放线程池中每个线程的tid。数组
pthread_t adjust_tid; //存管理线程tid
threadpool_task_t* task_queue; //任务队列(数组首地址)
int min_thr_num; //线程池最小线程数
int max_thr_num; //线程池最大线程数
int live_thr_num; //当前存活线程个数
int busy_thr_num; //忙状态线程个数
int wait_exit_thr_num; //要销毁的线程个数
int queue_front; //task_queue队头下标
int queue_rear; //task queue队尾下标
int queue_size; //task_queue队中实际任务数
int queue_max_size; //task queue队列可容纳任务数上限
int shutdown; //标志位,线程池使用状态,true或false
};
void* adjust_thread(void* threadpool);
int is_thread_alive(pthread t tid);
int threadpool_free(threadpool t* pool);
/* C */
//threadpool create(3,100,100); 线程池的创建
threadpool_t* threadpool_create(int min_thr_num, int max_thr_num, int queue_max_size)
{
int i;
threadpool _t* pool = NULL; /*线程池 结构体 */
do {
if ((pool = (threadpool_t*)malloc(sizeof(threadpool_t))) == NULL) {
printf("malloc threadpool fail");
break; /*跳出do while*/
}
pool->min_thr_num = min_thr_num; //最小线程数
pool->max_thr_num = max_thr_num; //最大线程数
pool->busy_thr_num = 0; //忙活的线程
pool->live_thr_num = min_thr_num; /*活着的线程数 初值=最小线程数 */
pool->wait_exit_thr_num = 0; //要销毁的线程数
pool->queue_size = 0; /*有0个产品 */
pool->queue_max_size = queue_max_size; /*最大任务队列数 */
pool->queue_front = 0; //任务队头
pool->queue_rear = 0; //任务队尾
pool->shutdown = false; /*不关闭线程池 */
/*根据最大线程上限数给工作线程数组开辟空间,并清零*/
pool->threads = (pthread_t*)malloc(sizeof(pthread_t) * max_thr_num);
if (pool->threads == NULL) {
printf("malloc threads fail");
break;
}
memset(pool->threads, 0, sizeof(pthread t) * max_thr_num);
/*给 任务队列 开辟空间 */
pool->task_queue = (threadpool_task_t*)malloc(sizeof(threadpool_task_t) * queue_max_size);
if (pool->task_queue == NULL) {
printf("malloc task_queue fail");
break;
}
/*初始化互斥琐、条件变量:两个锁和两个条件变量 */
/*
pthread_mutex_t lock; //用于锁住本结构体
pthread_mutex_t thread_counter; //记录忙状态线程个数de琐-- busy_thr_num
pthread_cond_t queue_not_full; //当任务队列满时,添加任务的线程阻塞,等待此条件变量
pthread_cond_t queue_not_empty; //任务队列里不为空时,通知等待任务的线程
*/
if (pthread_mutex_init(&(pool->lock), NULL) != 0
|| pthread_mutex_init(&(pool->thread_counter), NULL) != 0
|| pthread_cond_init(&(pool->queue_not_empty), NULL) != 0
|| pthread_cond_init(&(pool->queue_not_full), NULL) != 0)
{
printf("init the lock or cond fail");
break;
}
/*启动 min_thr_num个work thread */
//在线程池pool->threads中开启最小个数线程
for (i = 0; i < min_thr_num; i++) {
//int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*start_routine) (void *), void *arg);
pthread_create(&(pool->threads[i]), NULL, threadpool_thread, (void*)pool); /*pool指向当前线程池*/
//每次创建线程就将该线程池pool传给子线程(回调函数的参数),使子线程对线程池pool的数据进行更新
//比如创建子线程后将pid存储到pool->thread[i]中 -- 回调函数的工作
printf("start thread 0x%x...\n", (unsianed int)pool->threadsr[i]);
}
pthread_create(&(pool->adjust_tid), NULLL, adjust_thread, (void*)pool); //创建管理者线程
return pool;
} while (0);
threadpool_free(pool);
return NULL;
}
/* D */
//线程池中各个工作线程 -- 线程创建的回调函数
void* threadpool thread(void* threadpool) {
threadpool_t* pool = (threadpool t*)threadpool;
threadpool_task_t task; //各个子线程的任务结构体:函数指针--回调函数;回调函数的参数arg
while (true) {
/*Lock must be taken to wait on conditional variable */
/*刚创建出线程,等待任务队列里有任务,否则阻塞等待任务队列里有任务后再唤醒接收任务*/
pthread_mutex_lock(&(pool->lock));
/*queue_size == 0 说明没有任务,调 wait 阻塞在条件变量上,若有任务,跳过该while*/
while ((pool->queue_size == 0) && (!pool->shutdown)) {
printf("thread @x%x is waiting\n", (unsigned int)pthread_self());
pthread _cond_wait(&(pool->queue_not_empty), &(pool->lock));
// --- 看分析G 下面是销毁线程池时会调用到 146-166 --- //
/*清除指定数目的空闲线程,如果要结束的线程个数大于日,结束线程 -- 用于搜身的*/
if (pool->wait_exit_thr_num > 0) {
pool->wait_exit_thr_num--;
/*如果线程池里线程个数大于最小值时可以结束当前线程*/
if (pool->live_thr_num > pool->min_thr_num) {
printf("thread 0x%x is exiting\n", (unsigned int)pthread self());
pool->live_thr_num--;
pthread_mutex_unlock(&(pool->lock));
pthread_exit(NULL);
}
}
}
/*如果指定了true,要关闭线程池里的每个线程,自行退出处理---销毁线程池*/
if (pool->srutdown) {
pthread_mutex_unlock(&(pool->lock));
printf("thread 0x%x is exiting\n", (unsigned int)pthread_self());
pthread_detach(pthread_self());
pthread_exit(NULL); /*线程自行结束 */
}
/*从任务队列里获取任务,是一个出队操作*/
task.function = pool->task queue[pool->queue front].function;
task.arg = pool->task_queue[pool->queue_front].arg;
pool->queue_front = (pool->queue_front + 1) % pool->queue _max_size;/*出队,模拟环形队列 */
pool->queue size--;
/*通知可以有新的任务添加进来*/
pthread_cond_broadcast(&(pool->queue_not_full));
/*任务取出后,立即将 线程池琐 释放*/
pthread_mutex_unlock(&(pool->lock));
/*执行任务*/
printf("thread 0x%x start working\n",(unsigned int)pthread_self());
pthread_mutex_lock(&(p0ol->thread_counter); /*忙状态线程数变量琐*/
pool->busy_thr_num++; /*忙状态线程数+1*/
pthread_mutex_unlock(&(pool->thread_counter));
(*(task.function))(task.arg); /*执行回调函数任务*/
//task.function(task.arg); /*执行回调函数任务*/
/*任务结束处理*/
printf("thread 0x%x end working\n", (unsigned int)pthread_self());
pthread_mutex_lock(&(pool->thread counter));
pool->busy thr num--; /*处理掉一个任务,忙状态数线程数-1*/
pthread_mutex_unlock(&(pool->thread_counter));
}
pthread_exit(NULL);
}
/* E 管理线程 */
void* adjust_thread(void* threadpool) {
int i;
threadpool_t* pool = (threadpool_t*)threadpool;
while (!pool->shutdown) {
sleep(DEFAULT_TIME); //定时对线程池管理
pthread_mutex_lock(8(pool->lock));
int queue_size = pool->queue_size; //关注 任务数
int live_thr_nun = pool->live_thr_num; //存活 线程数
pthread_mutex_unlock(&(pool->lock));
pthread_mutex_lock(&(pool->thread counter));
int busy_thr_num = pool->busy_thr_num; //忙着的线程数
pthread_mutex_unlock(&(pool->thread_counter));
/*创建新线程 算法 : 任务数大于最小线程池个数,且存活的线程数少于最大线程个数时 如:30>=10 && 40<100*/
if (queue size >= MIN WAIT TASK NUM && live thr num < pool->max thr _num) {
pthread mutex lock(&(pool->lock));
int add = 0;
/*一次增加 DEFAULT THREAD 个线程*/
for (i = 0; i < pool->max_thr_num && add < DEFAULT_THREAD_VARY
&& pool->live_thr_num < pool->max_thr_num; i++) {
if (pool->threads[i] = 0 || is_thread_alive(pool->threads[i])) {
pthread_create(&(pool->threads[i]), NULL, threadpool_thread, (void*)pool);
add++;
pool->live_thr_num++;
}
pthread_mutex_unlock(&(pool->lock));
}
/*销毁多余的空闲线程 算法:忙线程X2 小于 存活的线程数 且 存活的线程数 大于 最小线程数时*/
if ((busy_thr_num * 2) < live_thr_num && live_thr_num > pool->min_thr_num) {
/*一次销毁DEFAULT_THREAD个线程,随機10個即可 */
pthread_mutex_lock(&(pool->lock));
pool->wait_exit_thr_num = DEFAULT_THREAD_VARY; /*要销毁的线程数 设置为10 */
pthread mutex_unlock(&(pool->lock));
for (i = 0; i < DEFAULT THREAD VARY; i++) {
/*通知处在空闲状态的线程,他们会自行终止*/
pthread cond signal(&(pool->queue_not_enpty));
}
}
}
return NULL
}
/* F */
//线程池中的线程,模拟处理业务
void* process(void* arg) {
printf("thread 0x%x working on taks %d/n", (usigned int)pthread_self(), (int)arg);
sleep(1);
printf("task %d is end \n", (int)arg);
return NULL;
}
/*向线程池中 添加一个任务 */
//threadpool_add(thp,process,(void*)&num[i]); /*向线程池中添加任务 process:小写---->大写*/
int threadpool_add(threadpool_t * pool, void* (*function)(void* arg), void* arg) {
pthread mutex_lock(&(pool->lock));
/*==为真,队列已经满,调wait阻塞 */
while ((pool->queue_size == pool->queue_max_size) && (!pool->shutdown)) {
pthread_cond_wait(&(pool->queue_not_full), & (pool->lock));
}
//为false,线程池不关闭,跳过
if (pool->shutdown) {
pthread_cond_broadcast(&(pool->queue_not_empty));
pthread_mutex_unlock(&(pool->lock));
return 0;
}
/*清空 工作线程 调用的回调函数 的参数arg */
if (pool->task_queue[pool->queue_rear].arg != NULL) {
pool->task_queue[pool->queue_rear].arg = NULL;
}
/*添加任务到任务队列里*/
pool->task_queue[pool->queue rear].function = function;
pool->task_queue[pool->queue rear].arg = arg;
pool->queue rear = (pool->queue rear + 1) % pool->queue_max_size; /*队尾指针移动,模拟环形*/
pool->queue_size++;
/*添加完任务后,队列不为空,唤醒线程池中 等待处理任务的线程*/
ptread_cond_signal(&(pool->queue_not_empty));
pthread_mutex_unlock(&(pool->lock));
return 0;
}
/* G */
//销毁线程池
int threadpool_destroy(threadpool_t * pool)
{
int i;
if (pool == NULL) {
return -1;
}
pool->shutdown = true;
/*先销毁管理线程 */
pthread_join(pool->adjust_tid, NULL);
for (i = 0; i < pool->adjust_tid, NULL) {
/*通知所有的空闲线程*/
//这个销毁函数是在任务都被处理完了才会被调用,所以线程池里的线程都空闲,阻塞在wait等待被唤醒
pthread_cond_broadcast(&(pool->queue_not_empty));
//任务队列没任务,这时候还去唤醒正在等待任务的线程,欺骗它有任务将其唤醒,使其销毁 -- 在 分析D 的while(任务数 == 0)
//的pthread_cond_wait -- 被唤醒
}
for (i = 0; i < pool->live_thr_num; i++) {
pthread_join(pool->threads[i], NULL);
}
threadpool_free(pool);
return 0;
}
//对锁和条件变量的销毁,释放线程池的空间等
int threadpool free(threadpool_t * pool) {
if (POOL == NULL) {
return -1;
}
if (pool->task_queue) {
free(pool->task_queue);
}
if (pool->threads) {
free(pool->threads);
pthread_mutex_lock(&(pool->lock));
pthread_mutex_destroy(&(pool->lock));
pthread_mutex_lock(&(pool->thread_counter));
pthread_mutex_destroy(&(pool->thread_counter));
pthread_cond_destroy(&(pool->queue_not_empty));
pthread_cond_destroy(&(pool->queue_not_full));
}
free(pool);
pool = NULL;
return 0;
}
/* B */
int main(void) {
/*threadpool_t *threadpool_create(int min_thr _num, int max_ thr_num, int queue_max_size);*/
threadpool_t* thp = threadpool_create(3, 100, 100); /*创建线程池,池里最小3个线程,最大100,队列最大100*/
printf("pool inited");
//int *num =(int *)malloc(sizeof(int)*20);
int num[20],i;
for (i = 0; i < 20; i++) {
num[i] = i;
printf("add task %d\n", i);
/*int threadpool_add(threadpool_t *pool, void*(*function)(void *arg), void *arg)*/
threadpool_add(thp,process, (void*)&num[i]); /* 向线程池中添加任务*/
}
sleep(10); /*等子线程完成任务*/
threadpool_destroy(thp);
return 0;
}
3.分析
A.线程池结构体pool
1.真正的线程池是pool->threads,是个存储各个线程pid的数组,pool其余的成员都是对线程池的限制完成
2.关于线程任务结构体:
-
typedef struct { void *(*function)(void *); /*函数指针,回调函数 */ void *arg; /*上面函数的参数 */ }threadpool_task_t; /*各子线程任务结构体 */ //pool中任务队列threadpool_task_t *task_queue的队员
- function是函数指针,指向模拟处理任务业务的回调函数process,arg是要处理内容,是function的参数
3.任务队列threadpool_task_t *task_queue:
pool中有任务队列头尾的下标 -- queue_front和queue_rear,需要注意的是采用的是环形队列的方法,下标rear的元素是空的
有新任务到来,该下标处的元素置空再将新任务赋值上去比较妥当:
--- 分析 F pthread_add任务添加函数
4.pool->shutdown,为false表示线程池不关闭
B.main
1.创建线程
分析C:pool的初始化; -- threadpool_create函数
分析D:线程池最少线程的创建;-- C中调用pthread_create创建线程,调用回调函数threadpool_thread(D)
分析E:管理线程的创建 -- 一样
2.模拟客户端产生线程,将其写进pool的任务队列task_queue当中 -- threadpool_add函数
也需要加锁,防止在添加进任务、对pool的queue_size现有任务数等进行更新时,被线程取走了任务,导致记录任务数和现有任务数不同 -- 分析F
3.销毁线程池 -- G
C.pool的初始化
创建线程池初始化好相关属性:最小线程数、最大线程数、开阔一篇地址(数组)作为线程池 -- 存储子线程pid的数组、管理线程、锁和条件变量的初始化、任务队列的开辟、创建好最小线程 -- 处理任务的回调函数、最大队列数等
do while(0),并不是说只需要一次,只要有一个步骤出现问题,就会break跳出循环,这就进入下一轮循环,知道do while中各个步骤都没问题没有break就会跳出do while
1.pthread_create创建线程,调用线程的回调函数threadpool_thread -- 分析D
- 刚创建线程池,任务队列也为空,线程池无法工作,释放锁阻塞等待 -- D
2.继续执行主线程的,创建管理线程 -- pool_adjust_tid:--分析E
pthread_create(&(pool->adjust_tid),NULLL,adjust_thread,(void *)pool); //创建管理者线程
调用回调函数adjust_thread -- 分析E
负责对线程池进行增加或者减少线程
刚创建没任务,线程也不需要扩展或者减少,让其一直在那循环监控就绪
初始化完成
D.创建子线程回调函数
void *threadpool_thread(void *threadpool) -- 工作线程
C中pool的初始化创建子线程时会调用,参数传的是pool;以及管理线程感知到线程池数量不够时也会调用来创建线程
1.将pool结构体锁住
2.没有任务(queue_not_empty不满足,队列为空):解锁 -- pthread_cond_wait -- 阻塞等待条件满足 -- 任务到来,满足条件变量queue_not_empty,队列不为空 -- pool加锁,处理任务
3.如果是 C 刚初始化后的,队列还没有任务,就一直阻塞,先回到 C 主线程继续创建管理线程
4.如果初始化完成的pool,B F 中模拟客户端产生了任务添加进pool中的任务队列threadpool_task_t *task_queue,queue_size != 0,对任务进行处理
5.定义一个threadpool_task_t task存放从任务队列中取出来的任务,队列有空间了,就可以通知正阻塞在任务队列不为满的条件变量上的任务可以进入队列;执行任务 --> 给busy_thr_num忙线程数加锁,并且该数++ --> 表示正式工作的
6.调用执行任务函数task.function -- process,传参传task.arg
7.任务处理完成,对忙状态线程数加锁--后解锁
之所以要设置忙状态线程数,是因为管理线程对线程池进行扩容或是缩减需要有个参照;而加锁是为了多个线程恰巧同时处理完任务,对忙状态线程数进行--时,本来该-3,结果还没写进内存又被更改覆盖掉了,总共变成-1
//线程池中各个工作线程 -- 线程创建的回调函数
void *threadpool thread(void *threadpool){
threadpool_t *pool=(threadpool t *)threadpool;
threadpool_task_t task; //各个子线程的任务结构体:函数指针--回调函数;回调函数的参数arg
while(true){
/*Lock must be taken to wait on conditional variable */
/*刚创建出线程,等待任务队列里有任务,否则阻塞等待任务队列里有任务后再唤醒接收任务*/
pthread_mutex_lock(&(pool->lock));
/* 3 初始化--- queue_size == 0 说明没有任务,调 wait 阻塞在条件变量上,将锁释放,等待任务到来;若有任务,跳过该while*/
while((pool->queue_size==0)&&(!pool->shutdown)){
printf("thread @x%x is waiting\n",(unsigned int)pthread_self());
pthread _cond_wait(&(pool->queue_not_empty),&(pool->lock));
//初始化完成后, F 的任务添加函数add被调用,任务添加,线程被唤醒,queue_size != 0,跳出循环
/*清除指定数目的空闲线程,如果要结束的线程个数大于0,结束线程*/
//这个if语句就是用于销毁扩容的线程的,管理者线程就是欺骗这些空闲的线程将其唤醒,使其指向下面的代码,实现线程池搜身
if(pool->wait_exit_thr_num >0){
pool->wait_exit_thr_num--;
/*如果线程池里线程个数大于最小值时可以结束当前线程*/
if(pool->live_thr_num > pool->min_thr_num){
printf("thread 0x%x is exiting\n",(unsigned int)pthread self());
pool->live_thr_num--;
pthread_mutex_unlock(&(pool->lock));
pthread_exit(NULL);
}
}
}
/*如果指定了true,要关闭线程池里的每个线程,自行退出处理---销毁线程池*/
if(pool->srutdown){
pthread_mutex_unlock(&(pool->lock));
printf("thread 0x%x is exiting\n",(unsigned int)pthread_self());
pthread_detach(pthread_self());
pthread_exit(NULL); /*线程自行结束 */
}
/*从任务队列里获取任务,是一个出队操作*/
task.function = pool->task queue[pool->queue front].function;
task.arg = pool->task_queue[pool->queue_front].arg;
pool->queue_front =(pool->queue_front + 1)% pool->queue _max_size;/*出队,模拟环形队列 */
pool->queue size--;
/*通知可以有新的任务添加进来*/
pthread_cond_broadcast(&(pool->queue_not_full));
/*任务取出后,立即将 线程池琐 释放*/
pthread_mutex_unlock(&(pool->lock));
/*执行任务*/
printf("thread 0x%x start working\n",(unsigned int)pthread_self());
pthread_mutex_lock(&(p0ol->thread_counter); /*忙状态线程数变量琐*/
pool->busy_thr_num++; /*忙状态线程数+1*/
pthread_mutex_unlock(&(pool->thread_counter));
(*(task.function))(task.arg); /*执行回调函数任务*/
//task.function(task.arg); /*执行回调函数任务*/
/*任务结束处理*/
printf("thread 0x%x end working\n",(unsigned int)pthread_self());
pthread_mutex_lock(&(pool->thread counter));
pool->busy_thr_num--; /*处理掉一个任务,忙状态数线程数-1*/
pthread_mutex_unlock(&(pool->thread_counter));
}
pthread_exit(NULL);
}
E.管理线程回调函数adjust_thread
在C中,对线程池的创建初始化
1.C中调用pthread_create,创建管理线程,调用其回调函数adjust_thread
2.对pool结构体加锁,查看目前的任务数和线程数(不加锁的话,比如在查看live_thr_num时,刚好有线程加入对live_thr_num做修改,同时进行出现问题),查看完后解锁对忙着的线程pool->busy_thr_num加锁,查看忙着的线程数,解锁(忙着的线程数专门有一把自己的锁,对busy查看修改时,不影响live_thr_num和任务数,其它线程可在这时候对pool加锁查看live等属性)
3.定时对线程数量进行监控
4.线程数量不够,调用pthread_create,传入 D 创建子线程的回调函数threadpool_thread,为线程池pool->threads添加线程
5.空闲线程数量过多,对其进行销毁
6.每10秒循环一次进行监控,该管理线程没有阻塞
void *adjust_thread(void *threadpool){
int i;
threadpool_t *pool =(threadpool_t*)threadpool;
while(!pool->shutdown){
sleep(DEFAULT_TIME); //定时对线程池管理
pthread_mutex_lock(8(pool->lock));
int queue_size = pool->queue_size; //关注 任务数
int live_thr_nun= pool->live_thr_num; //存活 线程数
pthread_mutex_unlock(&(pool->lock));
pthread_mutex_lock(&(pool->thread counter));
int busy_thr_num = pool->busy_thr_num; //忙着的线程数
pthread_mutex_unlock(&(pool->thread_counter));
/*创建新线程 算法 : 任务数大于最小线程池个数,且存活的线程数少于最大线程个数时 如:30>=10 && 40<100*/
if(queue size >= MIN_WAIT_TASK_NUM 8& live thr num < pool->max_thr_num){
pthread mutex lock(&(pool->lock));
int add = 0;
/*一次增加 DEFAULT THREAD 个线程*/
for(i=0;i < pool->max_thr_num && add < DEFAULT_THREAD_VARY
&& pool->live_thr_num< pool->max_thr_num;i++){
if(pool->threads[i]= 0 ||is_thread_alive(pool->threads[i])){
pthread_create(&(pool->threads[i]),NULL,threadpool_thread,(void*)pool);
add++;
pool->live_thr_num++;
}
pthread_mutex_unlock(&(pool->lock));
}
/*销毁多余的空闲线程 算法:忙线程X2 小于 存活的线程数 且 存活的线程数 大于 最小线程数时*/
if((busy_thr_num*2)<live_thr_num && live_thr_num> pool->min_thr_num){
/*一次销毁DEFAULT_THREAD个线程,随機10個即可 */
pthread_mutex_lock(&(pool->lock));
pool->wait_exit_thr_num = DEFAULT_THREAD_VARY; /*要销毁的线程数 设置为10 */
pthread mutex_unlock(&(pool->lock));
for(i=0;i<DEFAULT_THREAD_VARY; i++){
/*通知处在空闲状态的线程,他们会自行终止*/
pthread_cond_signal(&(pool->queue_not_empty));
//欺骗空闲的线程有任务了,将其唤醒
}
}
}
return NULL
}
D中的回调函数部分代码:
F.模拟添加任务 -- main 3
typedef struct {
void *(*function)(void *); /*函数指针,回调函数 */
void *arg; /*上面函数的参数 */
}threadpool_task_t; /*各子线程任务结构体 */
//pool中任务队列threadpool_task_t *task_queue的队员
main函数中调用该函数
/*int threadpool_add(threadpool_t *pool, void*(*function)(void *arg), void *arg)*/
threadpool_add(thp,process,(void*)&num[i]); /* 向线程池中添加任务*/
参1是pool
参2是处理任务的回调函数
参3存的是任务,是回调函数process的参数 -- 要处理的任务
参2和参3在add函数中会存进threadpool_task_t,然后存进pool->task_queue任务队列
1.函数process是模拟处理任务业务,每个线程通过调用该函数去处理任务,这里功能省略了
void *process(void *arg){
printf("thread 0x%x working on taks %d/n",(usigned int)pthread_self(),(int) arg);
sleep(1);
printf("task %d is end \n",(int) arg);
return NULL;
}
2.B main函数调用threadpool_add函数
3.对pool加锁,检查任务pool->queue_size是否满,满则调pthread_cond_wait阻塞,释放锁等待线程处理任务,一直while不断检查,知道有线程处理了任务,wait重新给pool上锁,继续执行代码
4.有空的空间,添加任务到任务队列
环形指针,rear处元素置空存放新来的任务
/*向线程池中 添加一个任务 */
//threadpool_add(thp,process,(void*)&num[i]); /*向线程池中添加任务 process:小写---->大写*/
int threadpool_add(threadpool_t *pool, void*(*function)(void *arg), void *arg){
pthread mutex_lock(&(pool->lock));
/*==为真,队列已经满,调wait阻塞 */
while((pool->queue_size ==pool->queue_max_size)&&(!pool->shutdown)){
pthread_cond_wait(&(pool->queue_not_full),&(pool->lock));
}
//为false,线程池不关闭,跳过
if(pool->shutdown){
pthread_cond_broadcast(&(pool->queue_not_empty));
pthread_mutex_unlock(&(pool->lock));
return 0;
}
/*清空 工作线程 调用的回调函数 的参数arg */
if(pool->task_queue[pool->queue_rear].arg != NULL){
pool->task_queue[pool->queue_rear].arg = NULL;
}
/*添加任务到任务队列里*/
pool->task_queue[pool->queue rear].function = function; //process -- 处理任务的回调函数赋值给任务队列
pool->task_queue[pool->queue rear].arg = arg; // 要处理的任务arg传给赋值任务队列
pool->queue_rear =(pool->queue_rear + 1)% pool->queue_max_size; /*队尾指针移动,模拟环形*/
pool->queue_size++; //向任务队列中添加了一个任务,记录队列现有任务数++
/*添加完任务后,队列不为空,唤醒线程池中 等待处理任务的线程*/
ptread_cond_signal(&(pool->queue_not_empty)); //唤醒阻塞在队列为空的想要处理任务的线程 -- 初始化时会唤醒到
pthread_mutex_unlock(&(pool->lock)); //添加任务完毕,释放锁,等某个线程抢到锁处理任务
return 0;
}
G.销毁线程池
1.threadpool_destroy(threadpool_t *pool)
//销毁线程池
int threadpool_destroy(threadpool_t *pool)
{
int i;
if(pool == NULL){
return -1;
}
pool->shutdown = true;
/*先销毁管理线程 */
pthread_join(pool->adjust_tid,NULL);
for(i = 0;i< pool->live_thr_num;i++){
/*通知所有的空闲线程*/
//这个销毁函数是在任务都被处理完了才会被调用,所以线程池里的线程都空闲,阻塞在wait等待被唤醒
pthread_cond_broadcast(&(pool->queue_not_empty));
//任务队列没任务,这时候还去唤醒正在等待任务的线程,欺骗它有任务将其唤醒,使其销毁 -- 在 分析D 的while(任务数 == 0)
//的pthread_cond_wait -- 被唤醒
}
for(i = 0;i < pool->live_thr_num; i++){
pthread_join(pool->threads[i],NULL);
}
threadpool_free(pool);
return 0;
}
13行 - 19行:
2.int threadpool_free(threadpool_t *pool):
//对锁和条件变量的销毁,释放线程池的空间等
int threadpool free(threadpool_t *pool){
if(POOL == NULL){
return -1;
}
if(pool->task_queue){
free(pool->task_queue);
}
if(pool->threads){
free(pool->threads);
pthread_mutex_lock(&(pool->lock));
pthread_mutex_destroy(&(pool->lock));
pthread_mutex_lock(&(pool->thread_counter));
pthread_mutex_destroy(&(pool->thread_counter));
pthread_cond_destroy(&(pool->queue_not_empty));
pthread_cond_destroy(&(pool->queue_not_full));
}
free(pool);
pool = NULL;
return 0;
}
上一篇: C++ 七种异常处理
下一篇: 皮卡丘-SQL 注入-搜索类型注入
推荐阅读
-
线程池实现与解释:解决多线程并发服务器创建和销毁线程消耗过大的问题
-
SSM三大框架基础面试题-一、Spring篇 什么是Spring框架? Spring是一种轻量级框架,提高开发人员的开发效率以及系统的可维护性。 我们一般说的Spring框架就是Spring Framework,它是很多模块的集合,使用这些模块可以很方便地协助我们进行开发。这些模块是核心容器、数据访问/集成、Web、AOP(面向切面编程)、工具、消息和测试模块。比如Core Container中的Core组件是Spring所有组件的核心,Beans组件和Context组件是实现IOC和DI的基础,AOP组件用来实现面向切面编程。 Spring的6个特征: 核心技术:依赖注入(DI),AOP,事件(Events),资源,i18n,验证,数据绑定,类型转换,SpEL。 测试:模拟对象,TestContext框架,Spring MVC测试,WebTestClient。 数据访问:事务,DAO支持,JDBC,ORM,编组XML。 Web支持:Spring MVC和Spring WebFlux Web框架。 集成:远程处理,JMS,JCA,JMX,电子邮件,任务,调度,缓存。 语言:Kotlin,Groovy,动态语言。 列举一些重要的Spring模块? Spring Core:核心,可以说Spring其他所有的功能都依赖于该类库。主要提供IOC和DI功能。 Spring Aspects:该模块为与AspectJ的集成提供支持。 Spring AOP:提供面向切面的编程实现。 Spring JDBC:Java数据库连接。 Spring JMS:Java消息服务。 Spring ORM:用于支持Hibernate等ORM工具。 Spring Web:为创建Web应用程序提供支持。 Spring Test:提供了对JUnit和TestNG测试的支持。 谈谈自己对于Spring IOC和AOP的理解 IOC(Inversion Of Controll,控制反转)是一种设计思想: 在程序中手动创建对象的控制权,交由给Spring框架来管理。IOC在其他语言中也有应用,并非Spring特有。IOC容器实际上就是一个Map(key, value),Map中存放的是各种对象。 将对象之间的相互依赖关系交给IOC容器来管理,并由IOC容器完成对象的注入。这样可以很大程度上简化应用的开发,把应用从复杂的依赖关系中解放出来。IOC容器就像是一个工厂一样,当我们需要创建一个对象的时候,只需要配置好配置文件/注解即可,完全不用考虑对象是如何被创建出来的。在实际项目中一个Service类可能由几百甚至上千个类作为它的底层,假如我们需要实例化这个Service,可能要每次都搞清楚这个Service所有底层类的构造函数,这可能会把人逼疯。如果利用IOC的话,你只需要配置好,然后在需要的地方引用就行了,大大增加了项目的可维护性且降低了开发难度。 Spring中的bean的作用域有哪些? 1.singleton:该bean实例为单例 2.prototype:每次请求都会创建一个新的bean实例(多例)。 3.request:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP request内有效。 4.session:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP session内有效。 5.global-session:全局session作用域,仅仅在基于Portlet的Web应用中才有意义,Spring5中已经没有了。Portlet是能够生成语义代码(例如HTML)片段的小型Java Web插件。它们基于Portlet容器,可以像Servlet一样处理HTTP请求。但是与Servlet不同,每个Portlet都有不同的会话。 Spring中的单例bean的线程安全问题了解吗? 概念用于理解:大部分时候我们并没有在系统中使用多线程,所以很少有人会关注这个问题。单例bean存在线程问题,主要是因为当多个线程操作同一个对象的时候,对这个对象的非静态成员变量的写操作会存在线程安全问题。 有两种常见的解决方案(用于回答的点): 1.在bean对象中尽量避免定义可变的成员变量(不太现实)。 2.在类中定义一个ThreadLocal成员变量,将需要的可变成员变量保存在ThreadLocal(线程本地化对象)中(推荐的一种方式)。 ThreadLocal解决多线程变量共享问题(参考博客):https://segmentfault.com/a/1190000009236777 Spring中Bean的生命周期: 1.Bean容器找到配置文件中Spring Bean的定义。 2.Bean容器利用Java Reflection API创建一个Bean的实例。 3.如果涉及到一些属性值,利用set方法设置一些属性值。 4.如果Bean实现了BeanNameAware接口,调用setBeanName方法,传入Bean的名字。 5.如果Bean实现了BeanClassLoaderAware接口,调用setBeanClassLoader方法,传入ClassLoader对象的实例。 6.如果Bean实现了BeanFactoryAware接口,调用setBeanClassFacotory方法,传入ClassLoader对象的实例。 7.与上面的类似,如果实现了其他*Aware接口,就调用相应的方法。 8.如果有和加载这个Bean的Spring容器相关的BeanPostProcessor对象,执postProcessBeforeInitialization方法。 9.如果Bean实现了InitializingBean接口,执行afeterPropertiesSet方法。 10.如果Bean在配置文件中的定义包含init-method属性,执行指定的方法。 11.如果有和加载这个Bean的Spring容器相关的BeanPostProcess对象,执行postProcessAfterInitialization方法。 12.当要销毁Bean的时候,如果Bean实现了DisposableBean接口,执行destroy方法。 13.当要销毁Bean的时候,如果Bean在配置文件中的定义包含destroy-method属性,执行指定的方法。 Spring框架中用到了哪些设计模式? 1.工厂设计模式:Spring使用工厂模式通过BeanFactory和ApplicationContext创建bean对象。 2.代理设计模式:Spring AOP功能的实现。 3.单例设计模式:Spring中的bean默认都是单例的。 4.模板方法模式:Spring中的jdbcTemplate、hibernateTemplate等以Template结尾的对数据库操作的类,它们就使用到了模板模式。 5.包装器设计模式:我们的项目需要连接多个数据库,而且不同的客户在每次访问中根据需要会去访问不同的数据库。这种模式让我们可以根据客户的需求能够动态切换不同的数据源。 6.观察者模式:Spring事件驱动模型就是观察者模式很经典的一个应用。 7.适配器模式:Spring AOP的增强或通知(Advice)使用到了适配器模式、Spring MVC中也是用到了适配器模式适配Controller。 还有很多。。。。。。。 @Component和@Bean的区别是什么 1.作用对象不同。@Component注解作用于类,而@Bean注解作用于方法。 2.@Component注解通常是通过类路径扫描来自动侦测以及自动装配到Spring容器中(我们可以使用@ComponentScan注解定义要扫描的路径)。@Bean注解通常是在标有该注解的方法中定义产生这个bean,告诉Spring这是某个类的实例,当我需要用它的时候还给我。 3.@Bean注解比@Component注解的自定义性更强,而且很多地方只能通过@Bean注解来注册bean。比如当引用第三方库的类需要装配到Spring容器的时候,就只能通过@Bean注解来实现。 @Configuration public class AppConfig { @Bean public TransferService transferService { return new TransferServiceImpl; } } <beans> <bean id="transferService" class="com.kk.TransferServiceImpl"/> </beans> @Bean public OneService getService(status) { case (status) { when 1: return new serviceImpl1; when 2: return new serviceImpl2; when 3: return new serviceImpl3; } } 将一个类声明为Spring的bean的注解有哪些? 声明bean的注解: @Component 组件,没有明确的角色 @Service 在业务逻辑层使用(service层) @Repository 在数据访问层使用(dao层) @Controller 在展现层使用,控制器的声明 注入bean的注解: @Autowired:由Spring提供 @Inject:由JSR-330提供 @Resource:由JSR-250提供 *扩:JSR 是 java 规范标准 Spring事务管理的方式有几种? 1.编程式事务:在代码中硬编码(不推荐使用)。 2.声明式事务:在配置文件中配置(推荐使用),分为基于XML的声明式事务和基于注解的声明式事务。 Spring事务中的隔离级别有哪几种? 在TransactionDefinition接口中定义了五个表示隔离级别的常量:ISOLATION_DEFAULT:使用后端数据库默认的隔离级别,Mysql默认采用的REPEATABLE_READ隔离级别;Oracle默认采用的READ_COMMITTED隔离级别。ISOLATION_READ_UNCOMMITTED:最低的隔离级别,允许读取尚未提交的数据变更,可能会导致脏读、幻读或不可重复读。ISOLATION_READ_COMMITTED:允许读取并发事务已经提交的数据,可以阻止脏读,但是幻读或不可重复读仍有可能发生ISOLATION_REPEATABLE_READ:对同一字段的多次读取结果都是一致的,除非数据是被本身事务自己所修改,可以阻止脏读和不可重复读,但幻读仍有可能发生。ISOLATION_SERIALIZABLE:最高的隔离级别,完全服从ACID的隔离级别。所有的事务依次逐个执行,这样事务之间就完全不可能产生干扰,也就是说,该级别可以防止脏读、不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。 Spring事务中有哪几种事务传播行为? 在TransactionDefinition接口中定义了八个表示事务传播行为的常量。 支持当前事务的情况:PROPAGATION_REQUIRED:如果当前存在事务,则加入该事务;如果当前没有事务,则创建一个新的事务。PROPAGATION_SUPPORTS: 如果当前存在事务,则加入该事务;如果当前没有事务,则以非事务的方式继续运行。PROPAGATION_MANDATORY: 如果当前存在事务,则加入该事务;如果当前没有事务,则抛出异常。(mandatory:强制性)。 不支持当前事务的情况:PROPAGATION_REQUIRES_NEW: 创建一个新的事务,如果当前存在事务,则把当前事务挂起。PROPAGATION_NOT_SUPPORTED: 以非事务方式运行,如果当前存在事务,则把当前事务挂起。PROPAGATION_NEVER: 以非事务方式运行,如果当前存在事务,则抛出异常。 其他情况:PROPAGATION_NESTED: 如果当前存在事务,则创建一个事务作为当前事务的嵌套事务来运行;如果当前没有事务,则该取值等价于PROPAGATION_REQUIRED。 二、SpringMVC篇 什么是Spring MVC ?简单介绍下你对springMVC的理解? Spring MVC是一个基于Java的实现了MVC设计模式的请求驱动类型的轻量级Web框架,通过把Model,View,Controller分离,将web层进行职责解耦,把复杂的web应用分成逻辑清晰的几部分,简化开发,减少出错,方便组内开发人员之间的配合。 Spring MVC的工作原理了解嘛? image.png Springmvc的优点: (1)可以支持各种视图技术,而不仅仅局限于JSP; (2)与Spring框架集成(如IoC容器、AOP等); (3)清晰的角色分配:前端控制器(dispatcherServlet) , 请求到处理器映射(handlerMapping), 处理器适配器(HandlerAdapter), 视图解析器(ViewResolver)。 (4) 支持各种请求资源的映射策略。 Spring MVC的主要组件? (1)前端控制器 DispatcherServlet(不需要程序员开发) 作用:接收请求、响应结果,相当于转发器,有了DispatcherServlet 就减少了其它组件之间的耦合度。 (2)处理器映射器HandlerMapping(不需要程序员开发) 作用:根据请求的URL来查找Handler (3)处理器适配器HandlerAdapter 注意:在编写Handler的时候要按照HandlerAdapter要求的规则去编写,这样适配器HandlerAdapter才可以正确的去执行Handler。 (4)处理器Handler(需要程序员开发) (5)视图解析器 ViewResolver(不需要程序员开发) 作用:进行视图的解析,根据视图逻辑名解析成真正的视图(view) (6)视图View(需要程序员开发jsp) View是一个接口, 它的实现类支持不同的视图类型(jsp,freemarker,pdf等等) springMVC和struts2的区别有哪些? (1)springmvc的入口是一个servlet即前端控制器(DispatchServlet),而struts2入口是一个filter过虑器(StrutsPrepareAndExecuteFilter)。 (2)springmvc是基于方法开发(一个url对应一个方法),请求参数传递到方法的形参,可以设计为单例或多例(建议单例),struts2是基于类开发,传递参数是通过类的属性,只能设计为多例。 (3)Struts采用值栈存储请求和响应的数据,通过OGNL存取数据,springmvc通过参数解析器是将request请求内容解析,并给方法形参赋值,将数据和视图封装成ModelAndView对象,最后又将ModelAndView中的模型数据通过reques域传输到页面。Jsp视图解析器默认使用jstl。 SpringMVC怎么样设定重定向和转发的? (1)转发:在返回值前面加"forward:",譬如"forward:user.do?name=method4" (2)重定向:在返回值前面加"redirect:",譬如"redirect:http://www.baidu.com" SpringMvc怎么和AJAX相互调用的? 通过Jackson框架就可以把Java里面的对象直接转化成Js可以识别的Json对象。具体步骤如下 : (1)加入Jackson.jar (2)在配置文件中配置json的映射 (3)在接受Ajax方法里面可以直接返回Object,List等,但方法前面要加上@ResponseBody注解。 如何解决POST请求中文乱码问题,GET的又如何处理呢? (1)解决post请求乱码问题: 在web.xml中配置一个CharacterEncodingFilter过滤器,设置成utf-8; <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>utf-8</param-value> </init-param> </filter> <filter-mapping> <filter-name>CharacterEncodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> (2)get请求中文参数出现乱码解决方法有两个: ①修改tomcat配置文件添加编码与工程编码一致,如下: <ConnectorURIEncoding="utf-8" connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/> ②另外一种方法对参数进行重新编码: String userName = new String(request.getParamter("userName").getBytes("ISO8859-1"),"utf-8") ISO8859-1是tomcat默认编码,需要将tomcat编码后的内容按utf-8编码。 Spring MVC的异常处理 ? 统一异常处理: Spring MVC处理异常有3种方式: (1)使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver; (2)实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器; (3)使用@ExceptionHandler注解实现异常处理; 统一异常处理的博客:https://blog.csdn.net/ctwy291314/article/details/81983103 SpringMVC的控制器是不是单例模式,如果是,有什么问题,怎么解决? 是单例模式,所以在多线程访问的时候有线程安全问题,不要用同步,会影响性能的,解决方案是在控制器里面不能写成员变量。(此题目类似于上面Spring 中 第5题 有两种解决方案) SpringMVC常用的注解有哪些? @RequestMapping:用于处理请求 url 映射的注解,可用于类或方法上。用于类上,则表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestBody:注解实现接收http请求的json数据,将json转换为java对象。 @ResponseBody:注解实现将conreoller方法返回对象转化为json对象响应给客户。 SpingMvc中的控制器的注解一般用那个,有没有别的注解可以替代? 一般用@Controller注解,也可以使用@RestController,@RestController注解相当于@ResponseBody + @Controller,表示是表现层,除此之外,一般不用别的注解代替。 如果在拦截请求中,我想拦截get方式提交的方法,怎么配置? 可以在@RequestMapping注解里面加上method=RequestMethod.GET。 怎样在方法里面得到Request,或者Session? 直接在方法的形参中声明request,SpringMVC就自动把request对象传入。 如果想在拦截的方法里面得到从前台传入的参数,怎么得到? 直接在形参里面声明这个参数就可以,但必须名字和传过来的参数一样。 如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象? 直接在方法中声明这个对象,SpringMVC就自动会把属性赋值到这个对象里面。 SpringMVC中函数的返回值是什么? 返回值可以有很多类型,有String, ModelAndView。ModelAndView类把视图和数据都合并的一起的。 SpringMVC用什么对象从后台向前台传递数据的? 通过ModelMap对象,可以在这个对象里面调用put方法,把对象加到里面,前台就可以拿到数据。 怎么样把ModelMap里面的数据放入Session里面? 可以在类上面加上@SessionAttributes注解,里面包含的字符串就是要放入session里面的key。 SpringMvc里面拦截器是怎么写的: 有两种写法,一种是实现HandlerInterceptor接口,另外一种是继承适配器类,接着在接口方法当中,实现处理逻辑;然后在SpringMvc的配置文件中配置拦截器即可: <!-- 配置SpringMvc的拦截器 --> <mvc:interceptors> <!-- 配置一个拦截器的Bean就可以了 默认是对所有请求都拦截 --> <bean id="myInterceptor" class="com.zwp.action.MyHandlerInterceptor"></bean> <!-- 只针对部分请求拦截 --> <mvc:interceptor> <mvc:mapping path="/modelMap.do" /> <bean class="com.zwp.action.MyHandlerInterceptorAdapter" /> </mvc:interceptor> </mvc:interceptors> 注解原理: 注解本质是一个继承了Annotation的特殊接口,其具体实现类是Java运行时生成的动态代理类。我们通过反射获取注解时,返回的是Java运行时生成的动态代理对象。通过代理对象调用自定义注解的方法,会最终调用AnnotationInvocationHandler的invoke方法。该方法会从memberValues这个Map中索引出对应的值。而memberValues的来源是Java常量池 三、Mybatis篇 什么是MyBatis? MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。 讲下MyBatis的缓存 MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有, 二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口, 可在它的映射文件中配置<cache/> Mybatis是如何进行分页的?分页插件的原理是什么? 1)Mybatis使用RowBounds对象进行分页,也可以直接编写sql实现分页,也可以使用Mybatis的分页插件。 2)分页插件的原理:实现Mybatis提供的接口,实现自定义插件,在插件的拦截方法内拦截待执行的sql,然后重写sql。 举例:select * from student,拦截sql后重写为:select t.* from (select * from student)t limit 0,10 简述Mybatis的插件运行原理,以及如何编写一个插件? 1)Mybatis仅可以编写针对ParameterHandler、ResultSetHandler、StatementHandler、 Executor这4种接口的插件,Mybatis通过动态代理, 为需要拦截的接口生成代理对象以实现接口方法拦截功能, 每当执行这4种接口对象的方法时,就会进入拦截方法, 具体就是InvocationHandler的invoke方法,当然, 只会拦截那些你指定需要拦截的方法。 2)实现Mybatis的Interceptor接口并复写intercept方法, 然后在给插件编写注解,指定要拦截哪一个接口的哪些方法即可, 记住,别忘了在配置文件中配置你编写的插件。 Mybatis动态sql是做什么的?都有哪些动态sql?能简述一下动态sql的执行原理不? 1)Mybatis动态sql可以让我们在Xml映射文件内, 以标签的形式编写动态sql,完成逻辑判断和动态拼接sql的功能。 2)Mybatis提供了9种动态sql标签:trim|where|set|foreach|if|choose|when|otherwise|bind。 3)其执行原理为,使用OGNL从sql参数对象中计算表达式的值, 根据表达式的值动态拼接sql,以此来完成动态sql的功能。 #{}和${}的区别是什么? 1)#{}是预编译处理,${}是字符串替换。 2)Mybatis在处理#{}时,会将sql中的#{}替换为?号,调用PreparedStatement的set方法来赋值(有效的防止SQL注入); 3)Mybatis在处理${}时,就是把${}替换成变量的值。 为什么说Mybatis是半自动ORM映射工具?它与全自动的区别在哪里? Hibernate属于全自动ORM映射工具, 使用Hibernate查询关联对象或者关联集合对象时, 可以根据对象关系模型直接获取,所以它是全自动的。 而Mybatis在查询关联对象或关联集合对象时, 需要手动编写sql来完成,所以,称之为半自动ORM映射工具。 Mybatis是否支持延迟加载?如果支持,它的实现原理是什么? 1)Mybatis仅支持association关联对象和collection关联集合对象的延迟加载, association指的就是一对一,collection指的就是一对多查询。 在Mybatis配置文件中, 可以配置是否启用延迟加载lazyLoadingEnabled=true|false。 2)它的原理是,使用CGLIB创建目标对象的代理对象, 当调用目标方法时,进入拦截器方法, 比如调用a.getB.getName, 拦截器invoke方法发现a.getB是null值, 那么就会单独发送事先保存好的查询关联B对象的sql, 把B查询上来,然后调用a.setB(b), 于是a的对象b属性就有值了, 接着完成a.getB.getName方法的调用。 这就是延迟加载的基本原理。 MyBatis与Hibernate有哪些不同? 1)Mybatis和hibernate不同,它不完全是一个ORM框架, 因为MyBatis需要程序员自己编写Sql语句, 不过mybatis可以通过XML或注解方式灵活配置要运行的sql语句, 并将java对象和sql语句映射生成最终执行的sql, 最后将sql执行的结果再映射生成java对象。 2)Mybatis学习门槛低,简单易学,程序员直接编写原生态sql, 可严格控制sql执行性能,灵活度高,非常适合对关系数据模型要求不高的软件开发, 例如互联网软件、企业运营类软件等,因为这类软件需求变化频繁, 一但需求变化要求成果输出迅速。但是灵活的前提是mybatis无法做到数据库无关性, 如果需要实现支持多种数据库的软件则需要自定义多套sql映射文件,工作量大。 3)Hibernate对象/关系映射能力强,数据库无关性好, 对于关系模型要求高的软件(例如需求固定的定制化软件) 如果用hibernate开发可以节省很多代码,提高效率。 但是Hibernate的缺点是学习门槛高,要精通门槛更高, 而且怎么设计O/R映射,在性能和对象模型之间如何权衡, 以及怎样用好Hibernate需要具有很强的经验和能力才行。 总之,按照用户的需求在有限的资源环境下只要能做出维护性、 扩展性良好的软件架构都是好架构,所以框架只有适合才是最好。 MyBatis的好处是什么? 1)MyBatis把sql语句从Java源程序中独立出来,放在单独的XML文件中编写, 给程序的维护带来了很大便利。 2)MyBatis封装了底层JDBC API的调用细节,并能自动将结果集转换成Java Bean对象, 大大简化了Java数据库编程的重复工作。 3)因为MyBatis需要程序员自己去编写sql语句, 程序员可以结合数据库自身的特点灵活控制sql语句, 因此能够实现比Hibernate等全自动orm框架更高的查询效率,能够完成复杂查询。 简述Mybatis的Xml映射文件和Mybatis内部数据结构之间的映射关系? Mybatis将所有Xml配置信息都封装到All-In-One重量级对象Configuration内部。 在Xml映射文件中,<parameterMap>标签会被解析为ParameterMap对象, 其每个子元素会被解析为ParameterMapping对象。 <resultMap>标签会被解析为ResultMap对象, 其每个子元素会被解析为ResultMapping对象。 每一个<select>、<insert>、<update>、<delete> 标签均会被解析为MappedStatement对象, 标签内的sql会被解析为BoundSql对象。 什么是MyBatis的接口绑定,有什么好处? 接口映射就是在MyBatis中任意定义接口,然后把接口里面的方法和SQL语句绑定, 我们直接调用接口方法就可以,这样比起原来了SqlSession提供的方法我们可以有更加灵活的选择和设置. 接口绑定有几种实现方式,分别是怎么实现的? 接口绑定有两种实现方式,一种是通过注解绑定,就是在接口的方法上面加 上@Select@Update等注解里面包含Sql语句来绑定, 另外一种就是通过xml里面写SQL来绑定,在这种情况下, 要指定xml映射文件里面的namespace必须为接口的全路径名. 什么情况下用注解绑定,什么情况下用xml绑定? 当Sql语句比较简单时候,用注解绑定;当SQL语句比较复杂时候,用xml绑定,一般用xml绑定的比较多 MyBatis实现一对一有几种方式?具体怎么操作的? 有联合查询和嵌套查询,联合查询是几个表联合查询,只查询一次, 通过在resultMap里面配置association节点配置一对一的类就可以完成; 嵌套查询是先查一个表,根据这个表里面的结果的外键id, 去再另外一个表里面查询数据,也是通过association配置, 但另外一个表的查询通过select属性配置。 Mybatis能执行一对一、一对多的关联查询吗?都有哪些实现方式,以及它们之间的区别? 能,Mybatis不仅可以执行一对一、一对多的关联查询, 还可以执行多对一,多对多的关联查询,多对一查询, 其实就是一对一查询,只需要把selectOne修改为selectList即可; 多对多查询,其实就是一对多查询,只需要把selectOne修改为selectList即可。 关联对象查询,有两种实现方式,一种是单独发送一个sql去查询关联对象, 赋给主对象,然后返回主对象。另一种是使用嵌套查询,嵌套查询的含义为使用join查询, 一部分列是A对象的属性值,另外一部分列是关联对象B的属性值, 好处是只发一个sql查询,就可以把主对象和其关联对象查出来。 MyBatis里面的动态Sql是怎么设定的?用什么语法? MyBatis里面的动态Sql一般是通过if节点来实现,通过OGNL语法来实现, 但是如果要写的完整,必须配合where,trim节点,where节点是判断包含节点有 内容就插入where,否则不插入,trim节点是用来判断如果动态语句是以and 或or 开始,那么会自动把这个and或者or取掉。 Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式? 第一种是使用<resultMap>标签,逐一定义列名和对象属性名之间的映射关系。 第二种是使用sql列的别名功能,将列别名书写为对象属性名, 比如T_NAME AS NAME,对象属性名一般是name,小写, 但是列名不区分大小写,Mybatis会忽略列名大小写,