EPOLL 原理详解和 EPOLL 反应器模型
文章目录
一、epoll原理详解
二、epoll的两种触发模式
三、epoll反应堆模型
设想一个场景:有100万用户同时与一个进程保持着TCP连接,而每一时刻只有几十个或几百个TCP连接是活跃的(接收TCP包),也就是说在每一时刻进程只需要处理这100万连接中的一小部分连接。那么,如何才能高效的处理这种场景呢?进程是否在每次询问操作系统收集有事件发生的TCP连接时,把这100万个连接告诉操作系统,然后由操作系统找出其中有事件发生的几百个连接呢?实际上,在Linux2.4版本以前,那时的select或者poll事件驱动方式是这样做的。
这里有个非常明显的问题,即在某一时刻,进程收集有事件的连接时,其实这100万连接中的大部分都是没有事件发生的。因此如果每次收集事件时,都把100万连接的套接字传给操作系统(这首先是用户态内存到内核态内存的大量复制),而由操作系统内核寻找这些连接上有没有未处理的事件,将会是巨大的资源浪费,然后select和poll就是这样做的,因此它们最多只能处理几千个并发连接。而epoll不这样做,它在Linux内核中申请了一个简易的文件系统,把原先的一个select或poll调用分成了3部分:
1 int epoll_create(int size); 2 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); 3 int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
1. 调用epoll_create建立一个epoll对象(在epoll文件系统中给这个句柄分配资源);
2. 调用epoll_ctl向epoll对象中添加这100万个连接的套接字;
3. 调用epoll_wait收集发生事件的连接。
这样只需要在进程启动时建立1个epoll对象,并在需要的时候向它添加或删除连接就可以了,因此,在实际收集事件时,epoll_wait的效率就会非常高,因为调用epoll_wait时并没有向它传递这100万个连接,内核也不需要去遍历全部的连接。
一、epoll原理详解
当某一进程调用epoll_create方法时,Linux内核会创建一个eventpoll结构体,这个结构体中有两个成员与epoll的使用方式密切相关,如下所示:
1 struct eventpoll { 2 ... 3 /*红黑树的根节点,这棵树中存储着所有添加到epoll中的事件, 4 也就是这个epoll监控的事件*/ 5 struct rb_root rbr; 6 /*双向链表rdllist保存着将要通过epoll_wait返回给用户的、满足条件的事件*/ 7 struct list_head rdllist; 8 ... 9 };
我们在调用epoll_create时,内核除了帮我们在epoll文件系统里建了个file结点,在内核cache里建了个红黑树用于存储以后epoll_ctl传来的socket外,还会再建立一个rdllist双向链表,用于存储准备就绪的事件,当epoll_wait调用时,仅仅观察这个rdllist双向链表里有没有数据即可。有数据就返回,没有数据就sleep,等到timeout时间到后即使链表没数据也返回。所以,epoll_wait非常高效。
所有添加到epoll中的事件都会与设备(如网卡)驱动程序建立回调关系,也就是说相应事件的发生时会调用这里的回调方法。这个回调方法在内核中叫做ep_poll_callback,它会把这样的事件放到上面的rdllist双向链表中。
在epoll中对于每一个事件都会建立一个epitem结构体,如下所示:
1 struct epitem { 2 ... 3 //红黑树节点 4 struct rb_node rbn; 5 //双向链表节点 6 struct list_head rdllink; 7 //事件句柄等信息 8 struct epoll_filefd ffd; 9 //指向其所属的eventepoll对象 10 struct eventpoll *ep; 11 //期待的事件类型 12 struct epoll_event event; 13 ... 14 }; // 这里包含每一个事件对应着的信息
当调用epoll_wait检查是否有发生事件的连接时,只是检查eventpoll对象中的rdllist双向链表是否有epitem元素而已,如果rdllist链表不为空,则这里的事件复制到用户态内存(使用共享内存提高效率)中,同时将事件数量返回给用户。因此epoll_waitx效率非常高。epoll_ctl在向epoll对象中添加、修改、删除事件时,从rbr红黑树中查找事件也非常快,也就是说epoll是非常高效的,它可以轻易地处理百万级别的并发连接。
【总结】:
一颗红黑树,一张准备就绪句柄链表,少量的内核cache,就帮我们解决了大并发下的socket处理问题。
执行epoll_create()时,创建了红黑树和就绪链表;
执行epoll_ctl()时,如果增加socket句柄,则检查在红黑树中是否存在,存在立即返回,不存在则添加到树干上,然后向内核注册回调函数,用于当中断事件来临时向准备就绪链表中插入数据;
执行epoll_wait()时立刻返回准备就绪链表里的数据即可。
二、epoll的两种触发模式
epoll有EPOLLLT和EPOLLET两种触发模式,LT是默认的模式,ET是“高速”模式。
LT(水平触发)模式下,只要这个文件描述符还有数据可读,每次 epoll_wait都会返回它的事件,提醒用户程序去操作;
ET(边缘触发)模式下,在它检测到有 I/O 事件时,通过 epoll_wait 调用会得到有事件通知的文件描述符,对于每一个被通知的文件描述符,如可读,则必须将该文件描述符一直读到空,让 errno 返回 EAGAIN 为止,否则下次的 epoll_wait 不会返回余下的数据,会丢掉事件。如果ET模式不是非阻塞的,那这个一直读或一直写势必会在最后一次阻塞。
还有一个特点是,epoll使用“事件”的就绪通知方式,通过epoll_ctl注册fd,一旦该fd就绪,内核就会采用类似callback的回调机制来激活该fd,epoll_wait便可以收到通知。
【epoll为什么要有EPOLLET触发模式?】:
如果采用EPOLLLT模式的话,系统中一旦有大量你不需要读写的就绪文件描述符,它们每次调用epoll_wait都会返回,这样会大大降低处理程序检索自己关心的就绪文件描述符的效率.。而采用EPOLLET这种边缘触发模式的话,当被监控的文件描述符上有可读写事件发生时,epoll_wait()会通知处理程序去读写。如果这次没有把数据全部读写完(如读写缓冲区太小),那么下次调用epoll_wait()时,它不会通知你,也就是它只会通知你一次,直到该文件描述符上出现第二次可读写事件才会通知你!!!这种模式比水平触发效率高,系统不会充斥大量你不关心的就绪文件描述符。
【总结】:
ET模式(边缘触发)只有数据到来才触发,不管缓存区中是否还有数据,缓冲区剩余未读尽的数据不会导致epoll_wait返回;
LT 模式(水平触发,默认)只要有数据都会触发,缓冲区剩余未读尽的数据会导致epoll_wait返回。
三、epoll反应堆模型
【epoll模型原来的流程】:
1 epoll_create(); // 创建监听红黑树 2 epoll_ctl(); // 向书上添加监听fd 3 epoll_wait(); // 监听 4 有监听fd事件发送--->返回监听满足数组--->判断返回数组元素---> 5 lfd满足accept--->返回cfd---->read()读数据--->write()给客户端回应。
【epoll反应堆模型的流程】:
1 epoll_create(); // 创建监听红黑树 2 epoll_ctl(); // 向书上添加监听fd 3 epoll_wait(); // 监听 4 有客户端连接上来--->lfd调用acceptconn()--->将cfd挂载到红黑树上监听其读事件---> 5 epoll_wait()返回cfd--->cfd回调recvdata()--->将cfd摘下来监听写事件---> 6 epoll_wait()返回cfd--->cfd回调senddata()--->将cfd摘下来监听读事件--->...--->
【Demo】:
1 #include <stdio.h> 2 #include <sys/socket.h> 3 #include <sys/epoll.h> 4 #include <arpa/inet.h> 5 #include <fcntl.h> 6 #include <unistd.h> 7 #include <errno.h> 8 #include <string.h> 9 #include <stdlib.h> 10 #include <time.h> 11 12 #define MAX_EVENTS 1024 /*监听上限*/ 13 #define BUFLEN 4096 /*缓存区大小*/ 14 #define SERV_PORT 6666 /*端口号*/ 15 16 void recvdata(int fd,int events,void *arg); 17 void senddata(int fd,int events,void *arg); 18 19 /*描述就绪文件描述符的相关信息*/ 20 struct myevent_s 21 { 22 int fd; //要监听的文件描述符 23 int events; //对应的监听事件,EPOLLIN和EPLLOUT 24 void *arg; //指向自己结构体指针 25 void (*call_back)(int fd,int events,void *arg); //回调函数 26 int status; //是否在监听:1->在红黑树上(监听), 0->不在(不监听) 27 char buf[BUFLEN]; 28 int len; 29 long last_active; //记录每次加入红黑树 g_efd 的时间值 30 }; 31 32 int g_efd; //全局变量,作为红黑树根 33 struct myevent_s g_events[MAX_EVENTS+1]; //自定义结构体类型数组. +1-->listen fd 34 35 36 /* 37 * 封装一个自定义事件,包括fd,这个fd的回调函数,还有一个额外的参数项 38 * 注意:在封装这个事件的时候,为这个事件指明了回调函数,一般来说,一个fd只对一个特定的事件 39 * 感兴趣,当这个事件发生的时候,就调用这个回调函数 40 */ 41 void eventset(struct myevent_s *ev, int fd, void (*call_back)(int fd,int events,void *arg), void *arg) 42 { 43 ev->fd = fd; 44 ev->call_back = call_back; 45 ev->events = 0; 46 ev->arg = arg; 47 ev->status = 0; 48 if(ev->len <= 0) 49 { 50 memset(ev->buf, 0, sizeof(ev->buf)); 51 ev->len = 0; 52 } 53 ev->last_active = time(NULL); //调用eventset函数的时间 54 return; 55 } 56 57 /* 向 epoll监听的红黑树 添加一个文件描述符 */ 58 void eventadd(int efd, int events, struct myevent_s *ev) 59 { 60 struct epoll_event epv={0, {0}}; 61 int op = 0; 62 epv.data.ptr = ev; // ptr指向一个结构体(之前的epoll模型红黑树上挂载的是文件描述符cfd和lfd,现在是ptr指针) 63 epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT 64 if(ev->status == 0) //status 说明文件描述符是否在红黑树上 0不在,1 在 65 { 66 op = EPOLL_CTL_ADD; //将其加入红黑树 g_efd, 并将status置1 67 ev->status = 1; 68 } 69 if(epoll_ctl(efd, op, ev->fd, &epv) < 0) // 添加一个节点 70 printf("event add failed [fd=%d],events[%d]\n", ev->fd, events); 71 else 72 printf("event add OK [fd=%d],events[%0X]\n", ev->fd, events); 73 return; 74 } 75 76 /* 从epoll 监听的 红黑树中删除一个文件描述符*/ 77 void eventdel(int efd,struct myevent_s *ev) 78 { 79 struct epoll_event epv = {0, {0}}; 80 if(ev->status != 1) //如果fd没有添加到监听树上,就不用删除,直接返回 81 return; 82 epv.data.ptr = NULL; 83 ev->status = 0; 84 epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv); 85 return; 86 } 87 88 /* 当有文件描述符就绪, epoll返回, 调用该函数与客户端建立链接 */ 89 void acceptconn(int lfd,int events,void *arg) 90 { 91 struct sockaddr_in cin; 92 socklen_t len = sizeof(cin); 93 int cfd, i; 94 if((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1) 95 { 96 if(errno != EAGAIN && errno != EINTR) 97 { 98 sleep(1); 99 } 100 printf("%s:accept,%s\n",__func__, strerror(errno)); 101 return; 102 } 103 do 104 { 105 for(i = 0; i < MAX_EVENTS; i++) //从全局数组g_events中找一个空闲元素,类似于select中找值为-1的元素 106 { 107 if(g_events[i].status ==0) 108 break; 109 } 110 if(i == MAX_EVENTS) // 超出连接数上限 111 { 112 printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS); 113 break; 114 } 115 int flag = 0; 116 if((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) //将cfd也设置为非阻塞 117 { 118 printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno)); 119 break; 120 } 121 eventset(&g_events[i], cfd, recvdata, &g_events[i]); //找到合适的节点之后,将其添加到监听树中,并监听读事件 122 eventadd(g_efd, EPOLLIN, &g_events[i]); 123 }while(0); 124 125 printf("new connect[%s:%d],[time:%ld],pos[%d]",inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i); 126 return; 127 } 128 129 /*读取客户端发过来的数据的函数*/ 130 void recvdata(int fd, int events, void *arg) 131 { 132 struct myevent_s *ev = (struct myevent_s *)arg; 133 int len; 134 135 len = recv(fd, ev->buf, sizeof(ev->buf), 0); //读取客户端发过来的数据 136 137 eventdel(g_efd, ev); //将该节点从红黑树上摘除 138 139 if (len > 0) 140 { 141 ev->len = len; 142 ev->buf[len] = '\0'; //手动添加字符串结束标记 143 printf("C[%d]:%s\n", fd, ev->buf); 144 145 eventset(ev, fd, senddata, ev); //设置该fd对应的回调函数为senddata 146 eventadd(g_efd, EPOLLOUT, ev); //将fd加入红黑树g_efd中,监听其写事件 147 148 } 149 else if (len == 0) 150 { 151 close(ev->fd); 152 /* ev-g_events 地址相减得到偏移元素位置 */ 153 printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events); 154 } 155 else 156 { 157 close(ev->fd); 158 printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno)); 159 } 160 return; 161 } 162 163 /*发送给客户端数据*/ 164 void senddata(int fd, int events, void *arg) 165 { 166 struct myevent_s *ev = (struct myevent_s *)arg; 167 int len; 168 169 len = send(fd, ev->buf, ev->len, 0); //直接将数据回射给客户端 170 171 eventdel(g_efd, ev); //从红黑树g_efd中移除 172 173 if (len > 0) 174 { 175 printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf); 176 eventset(ev, fd, recvdata, ev); //将该fd的回调函数改为recvdata 177 eventadd(g_efd, EPOLLIN, ev); //重新添加到红黑树上,设为监听读事件 178 } 179 else 180 { 181 close(ev->fd); //关闭链接 182 printf("send[fd=%d] error %s\n", fd, strerror(errno)); 183 } 184 return ; 185 } 186 187 /*创建 socket, 初始化lfd */ 188 189 void initlistensocket(int efd, short port) 190 { 191 struct sockaddr_in sin; 192 193 int lfd = socket(AF_INET, SOCK_STREAM, 0); 194 fcntl(lfd, F_SETFL, O_NONBLOCK); //将socket设为非阻塞 195 196 memset(&sin, 0, sizeof(sin)); //bzero(&sin, sizeof(sin)) 197 sin.sin_family = AF_INET; 198 sin.sin_addr.s_addr = INADDR_ANY; 199 sin.sin_port = htons(port); 200 201 bind(lfd, (struct sockaddr *)&sin, sizeof(sin)); 202 203 listen(lfd, 20); 204 205 /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg); */ 206 eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]); 207 208 /* void eventadd(int efd, int events, struct myevent_s *ev) */ 209 eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]); //将lfd添加到监听树上,监听读事件 210 211 return; 212 } 213 214 int main() 215 { 216 int port=SERV_PORT; 217 218 g_efd = epoll_create(MAX_EVENTS + 1); //创建红黑树,返回给全局 g_efd 219 if(g_efd <= 0) 220 printf("create efd in %s err %s\n", __func__, strerror(errno)); 221 222 initlistensocket(g_efd, port); //初始化监听socket 223 224 struct epoll_event events[MAX_EVENTS + 1]; //定义这个结构体数组,用来接收epoll_wait传出的满足监听事件的fd结构体 225 printf("server running:port[%d]\n", port); 226 227 int checkpos = 0; 228 int i; 229 while(1) 230 { 231 /* long now = time(NULL); 232 for(i=0; i < 100; i++, checkpos++) 233 { 234 if(checkpos == MAX_EVENTS); 235 checkpos = 0; 236 if(g_events[checkpos].status != 1) 237 continue; 238 long duration = now -g_events[checkpos].last_active; 239 if(duration >= 60) 240 { 241 close(g_events[checkpos].fd); 242 printf("[fd=%d] timeout\n", g_events[checkpos].fd); 243 eventdel(g_efd, &g_events[checkpos]); 244 } 245 } */ 246 //调用eppoll_wait等待接入的客户端事件,epoll_wait传出的是满足监听条件的那些fd的struct epoll_event类型 247 int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000); 248 if (nfd < 0) 249 { 250 printf("epoll_wait error, exit\n"); 251 exit(-1); 252 } 253 for(i = 0; i < nfd; i++) 254 { 255 //evtAdd()函数中,添加到监听树中监听事件的时候将myevents_t结构体类型给了ptr指针 256 //这里epoll_wait返回的时候,同样会返回对应fd的myevents_t类型的指针 257 struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr; 258 //如果监听的是读事件,并返回的是读事件 259 if((events[i].events & EPOLLIN) &&(ev->events & EPOLLIN)) 260 { 261 ev->call_back(ev->fd, events[i].events, ev->arg); 262 } 263 //如果监听的是写事件,并返回的是写事件 264 if((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT)) 265 { 266 ev->call_back(ev->fd, events[i].events, ev->arg); 267 } 268 } 269 } 270 return 0; 271 }
推荐阅读
-
kqueue 和 epoll 的高级 IO 模型
-
epoll 的原理和流程
-
EPOLL 原理详解(图解)
-
kqueue 和 epoll 的高级 IO 模型
-
EPOLL 原理详解和 EPOLL 反应器模型
-
epoll简介及触发模式(accept、read、send)-epoll的简单介绍 epoll在LT和ET模式下的读写方式 一、epoll的接口非常简单,一共就三个函数:1. int epoll_create(int size);创建一个epoll的句柄,size用来告诉内核这个监听的数目一共有多大。这个参数不同于select中的第一个参数,给出最大监听的fd+1的值。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close关闭,否则可能导致fd被耗尽。2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);epoll的事件注册函数,它不同与select是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型。第一个参数是epoll_create的返回值,第二个参数表示动作,用三个宏来表示:EPOLL_CTL_ADD:注册新的fd到epfd中;EPOLL_CTL_MOD:修改已经注册的fd的监听事件;EPOLL_CTL_DEL:从epfd中删除一个fd;第三个参数是需要监听的fd,第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:struct epoll_event { __uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */};events可以是以下几个宏的集合:EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭); EPOLLIN事件:EPOLLIN事件则只有当对端有数据写入时才会触发,所以触发一次后需要不断读取所有数据直到读完EAGAIN为止。否则剩下的数据只有在下次对端有写入时才能一起取出来了。现在明白为什么说epoll必须要求异步socket了吧?如果同步socket,而且要求读完所有数据,那么最终就会在堵死在阻塞里。 EPOLLOUT:表示对应的文件描述符可以写; EPOLLOUT事件:EPOLLOUT事件只有在连接时触发一次,表示可写,其他时候想要触发,那要先准备好下面条件:1.某次write,写满了发送缓冲区,返回错误码为EAGAIN。2.对端读取了一些数据,又重新可写了,此时会触发EPOLLOUT。简单地说:EPOLLOUT事件只有在不可写到可写的转变时刻,才会触发一次,所以叫边缘触发,这叫法没错的!其实,如果真的想强制触发一次,也是有办法的,直接调用epoll_ctl重新设置一下event就可以了,event跟原来的设置一模一样都行(但必须包含EPOLLOUT),关键是重新设置,就会马上触发一次EPOLLOUT事件。1. 缓冲区由满变空.2.同时注册EPOLLIN | EPOLLOUT事件,也会触发一次EPOLLOUT事件这个两个也会触发EPOLLOUT事件 EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);EPOLLERR:表示对应的文件描述符发生错误;EPOLLHUP:表示对应的文件描述符被挂断;EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);等待事件的产生,类似于select调用。参数events用来从内核得到事件的集合,maxevents告之内核这个events有多大,这个maxevents的值不能大于创建epoll_create时的size,参数timeout是超时时间(毫秒,0会立即返回,-1将不确定,也有说法说是永久阻塞)。该函数返回需要处理的事件数目,如返回0表示已超时。-------------------------------------------------------------------------------------------- 从man手册中,得到ET和LT的具体描述如下EPOLL事件有两种模型:Edge Triggered (ET)Level Triggered (LT)假如有这样一个例子:1. 我们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符2. 这个时候从管道的另一端被写入了2KB的数据3. 调用epoll_wait(2),并且它会返回RFD,说明它已经准备好读取操作4. 然后我们读取了1KB的数据5. 调用epoll_wait(2)......Edge Triggered 工作模式:如果我们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志,那么在第5步调用epoll_wait(2)之后将有可能会挂起,因为剩余的数据还存在于文件的输入缓冲区内,而且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工作模式才会汇报事件。因此在第5步的时候,调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。在上面的例子中,会有一个事件产生在RFD句柄上,因为在第2步执行了一个写操作,然后,事件将会在第3步被销毁。因为第4步的读取操作没有读空文件输入缓冲区内的数据,因此我们在第5步调用 epoll_wait(2)完成后,是否挂起是不确定的。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。最好以下面的方式调用ET模式的epoll接口,在后面会介绍避免可能的缺陷。 i 基于非阻塞文件句柄 ii 只有当read(2)或者write(2)返回EAGAIN时才需要挂起,等待。但这并不是说每次read时都需要循环读,直到读到产生一个EAGAIN才认为此次事件处理完成,当read返回的读到的数据长度小于请求的数据长度时,就可以确定此时缓冲中已没有数据了,也就可以认为此事读事件已处理完成。Level Triggered 工作模式相反的,以LT方式调用epoll接口的时候,它就相当于一个速度比较快的poll(2),并且无论后面的数据是否被使用,因此他们具有同样的职能。因为即使使用ET模式的epoll,在收到多个chunk的数据的时候仍然会产生多个事件。调用者可以设定EPOLLONESHOT标志,在 epoll_wait(2)收到事件后epoll会与事件关联的文件句柄从epoll描述符中禁止掉。因此当EPOLLONESHOT设定后,使用带有 EPOLL_CTL_MOD标志的epoll_ctl(2)处理文件句柄就成为调用者必须作的事情。然后详细解释ET, LT:LT(level triggered)是缺省的工作方式,并且同时支持block和no-block socket.在这种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作,内核还是会继续通知你的,所以,这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表.ET(edge-triggered)是高速工作方式,只支持no-block socket。在这种模式下,当描述符从未就绪变为就绪时,内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪,并且不会再为那个文件描述符发送更多的就绪通知,直到你做了某些操作导致那个文件描述符不再为就绪状态了(比如,你在发送,接收或者接收请求,或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK 错误)。但是请注意,如果一直不对这个fd作IO操作(从而导致它再次变成未就绪),内核不会发送更多的通知(only once),不过在TCP协议中,ET模式的加速效用仍需要更多的benchmark确认(这句话不理解)。在许多测试中我们会看到如果没有大量的idle -connection或者dead-connection,epoll的效率并不会比select/poll高很多,但是当我们遇到大量的idle- connection(例如WAN环境中存在大量的慢速连接),就会发现epoll的效率大大高于select/poll。(未测试)另外,当使用epoll的ET模型来工作时,当产生了一个EPOLLIN事件后,读数据的时候需要考虑的是当recv返回的大小如果等于请求的大小,那么很有可能是缓冲区还有数据未读完,也意味着该次事件还没有处理完,所以还需要再次读取: 这里只是说明思路(参考《UNIX网络编程》) while(rs) {buflen = recv(activeevents[i].data.fd, buf, sizeof(buf), 0);if(buflen < 0){// 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读// 在这里就当作是该次事件已处理处.if(errno == EAGAIN)break; else return; }else if(buflen == 0) { // 这里表示对端的socket已正常关闭. } if(buflen == sizeof(buf) rs = 1; // 需要再次读取 else rs = 0; } 还有,假如发送端流量大于接收端的流量(意思是epoll所在的程序读比转发的socket要快),由于是非阻塞的socket,那么send函数虽然返回,但实际缓冲区的数据并未真正发给接收端,这样不断的读和发,当缓冲区满后会产生EAGAIN错误(参考man send),同时,不理会这次请求发送的数据.所以,需要封装socket_send的函数用来处理这种情况,该函数会尽量将数据写完再返回,返回-1表示出错。在socket_send内部,当写缓冲已满(send返回-1,且errno为EAGAIN),那么会等待后再重试.这种方式并不很完美,在理论上可能会长时间的阻塞在socket_send内部,但暂没有更好的办法. ssize_t socket_send(int sockfd, const char* buffer, size_t buflen) { ssize_t tmp; size_t total = buflen; const char *p = buffer; while(1) { tmp = send(sockfd, p, total, 0); if(tmp < 0) { // 当send收到信号时,可以继续写,但这里返回-1. if(errno == EINTR) return -1; // 当socket是非阻塞时,如返回此错误,表示写缓冲队列已满, // 在这里做延时后再重试. if(errno == EAGAIN) { usleep(1000); continue; } return -1; } if((size_t)tmp == total) return buflen; total -= tmp; p += tmp; } return tmp; } 二、epoll在LT和ET模式下的读写方式 在一个非阻塞的socket上调用read/write函数, 返回EAGAIN或者EWOULDBLOCK(注: EAGAIN就是EWOULDBLOCK) 从字面上看, 意思是: * EAGAIN: 再试一次 * EWOULDBLOCK: 如果这是一个阻塞socket, 操作将被block * perror输出: Resource temporarily unavailable 总结: 这个错误表示资源暂时不够, 可能read时, 读缓冲区没有数据, 或者, write时,写缓冲区满了 。 遇到这种情况, 如果是阻塞socket, read/write就要阻塞掉。 而如果是非阻塞socket, read/write立即返回-1, 同 时errno设置为EAGAIN. 所以, 对于阻塞socket, read/write返回-1代表网络出错了. 但对于非阻塞socket, read/write返回-1不一定网络真的出错了. 可能是Resource temporarily unavailable. 这时你应该再试, 直到Resource available. 综上, 对于non-blocking的socket, 正确的读写操作为: 读: 忽略掉errno = EAGAIN的错误, 下次继续读 写: 忽略掉errno = EAGAIN的错误, 下次继续写 对于select和epoll的LT模式, 这种读写方式是没有问题的. 但对于epoll的ET模式, 这种方式还有漏洞. epoll的两种模式 LT 和 ET
-
十分钟了解 epoll 和多线程 IO 模型
-
Linux 中 epoll 的原理和用法
-
Linux 网络编程 - epoll 模型原理和示例
-
nginx基于epoll模型的事件驱动流程详解