对开发人员有用的法则、理论、原则和模式 - 简介

推荐阅读

• 对开发人员有用的法则、理论、原则和模式 - 简介

• epoll简介及触发模式（accept、read、send）-epoll的简单介绍 epoll在LT和ET模式下的读写方式   一、epoll的接口非常简单，一共就三个函数：1. int epoll_create(int size);创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close关闭，否则可能导致fd被耗尽。2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);epoll的事件注册函数，它不同与select是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create的返回值，第二个参数表示动作，用三个宏来表示：EPOLL_CTL_ADD：注册新的fd到epfd中；EPOLL_CTL_MOD：修改已经注册的fd的监听事件；EPOLL_CTL_DEL：从epfd中删除一个fd；第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：struct epoll_event {  __uint32_t events;  /* Epoll events */  epoll_data_t data;  /* User data variable */};events可以是以下几个宏的集合：EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）； EPOLLIN事件：EPOLLIN事件则只有当对端有数据写入时才会触发，所以触发一次后需要不断读取所有数据直到读完EAGAIN为止。否则剩下的数据只有在下次对端有写入时才能一起取出来了。现在明白为什么说epoll必须要求异步socket了吧？如果同步socket，而且要求读完所有数据，那么最终就会在堵死在阻塞里。 EPOLLOUT：表示对应的文件描述符可以写； EPOLLOUT事件：EPOLLOUT事件只有在连接时触发一次，表示可写，其他时候想要触发，那要先准备好下面条件：1.某次write，写满了发送缓冲区，返回错误码为EAGAIN。2.对端读取了一些数据，又重新可写了，此时会触发EPOLLOUT。简单地说：EPOLLOUT事件只有在不可写到可写的转变时刻，才会触发一次，所以叫边缘触发，这叫法没错的！其实，如果真的想强制触发一次，也是有办法的，直接调用epoll_ctl重新设置一下event就可以了，event跟原来的设置一模一样都行（但必须包含EPOLLOUT），关键是重新设置，就会马上触发一次EPOLLOUT事件。1. 缓冲区由满变空.2.同时注册EPOLLIN | EPOLLOUT事件，也会触发一次EPOLLOUT事件这个两个也会触发EPOLLOUT事件   EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；EPOLLERR：表示对应的文件描述符发生错误；EPOLLHUP：表示对应的文件描述符被挂断；EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);等待事件的产生，类似于select调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个maxevents的值不能大于创建epoll_create时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。--------------------------------------------------------------------------------------------     从man手册中，得到ET和LT的具体描述如下EPOLL事件有两种模型：Edge Triggered (ET)Level Triggered (LT)假如有这样一个例子：1. 我们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符2. 这个时候从管道的另一端被写入了2KB的数据3. 调用epoll_wait(2)，并且它会返回RFD，说明它已经准备好读取操作4. 然后我们读取了1KB的数据5. 调用epoll_wait(2)......Edge Triggered 工作模式：如果我们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志，那么在第5步调用epoll_wait(2)之后将有可能会挂起，因为剩余的数据还存在于文件的输入缓冲区内，而且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工作模式才会汇报事件。因此在第5步的时候，调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。在上面的例子中，会有一个事件产生在RFD句柄上，因为在第2步执行了一个写操作，然后，事件将会在第3步被销毁。因为第4步的读取操作没有读空文件输入缓冲区内的数据，因此我们在第5步调用 epoll_wait(2)完成后，是否挂起是不确定的。epoll工作在ET模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。最好以下面的方式调用ET模式的epoll接口，在后面会介绍避免可能的缺陷。   i    基于非阻塞文件句柄   ii   只有当read(2)或者write(2)返回EAGAIN时才需要挂起，等待。但这并不是说每次read时都需要循环读，直到读到产生一个EAGAIN才认为此次事件处理完成，当read返回的读到的数据长度小于请求的数据长度时，就可以确定此时缓冲中已没有数据了，也就可以认为此事读事件已处理完成。Level Triggered 工作模式相反的，以LT方式调用epoll接口的时候，它就相当于一个速度比较快的poll(2)，并且无论后面的数据是否被使用，因此他们具有同样的职能。因为即使使用ET模式的epoll，在收到多个chunk的数据的时候仍然会产生多个事件。调用者可以设定EPOLLONESHOT标志，在 epoll_wait(2)收到事件后epoll会与事件关联的文件句柄从epoll描述符中禁止掉。因此当EPOLLONESHOT设定后，使用带有 EPOLL_CTL_MOD标志的epoll_ctl(2)处理文件句柄就成为调用者必须作的事情。然后详细解释ET, LT:LT(level triggered)是缺省的工作方式，并且同时支持block和no-block socket.在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你的，所以，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表．ET(edge-triggered)是高速工作方式，只支持no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了(比如，你在发送，接收或者接收请求，或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK 错误）。但是请注意，如果一直不对这个fd作IO操作(从而导致它再次变成未就绪)，内核不会发送更多的通知(only once),不过在TCP协议中，ET模式的加速效用仍需要更多的benchmark确认（这句话不理解）。在许多测试中我们会看到如果没有大量的idle -connection或者dead-connection，epoll的效率并不会比select/poll高很多，但是当我们遇到大量的idle- connection(例如WAN环境中存在大量的慢速连接)，就会发现epoll的效率大大高于select/poll。（未测试）另外，当使用epoll的ET模型来工作时，当产生了一个EPOLLIN事件后，读数据的时候需要考虑的是当recv返回的大小如果等于请求的大小，那么很有可能是缓冲区还有数据未读完，也意味着该次事件还没有处理完，所以还需要再次读取： 这里只是说明思路（参考《UNIX网络编程》） while(rs) {buflen = recv(activeevents[i].data.fd, buf, sizeof(buf), 0);if(buflen < 0){// 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读// 在这里就当作是该次事件已处理处.if(errno == EAGAIN)break; else return; }else if(buflen == 0) { // 这里表示对端的socket已正常关闭. } if(buflen == sizeof(buf) rs = 1; // 需要再次读取 else rs = 0; }   还有，假如发送端流量大于接收端的流量(意思是epoll所在的程序读比转发的socket要快),由于是非阻塞的socket,那么send函数虽然返回,但实际缓冲区的数据并未真正发给接收端,这样不断的读和发，当缓冲区满后会产生EAGAIN错误(参考man send),同时,不理会这次请求发送的数据.所以,需要封装socket_send的函数用来处理这种情况,该函数会尽量将数据写完再返回，返回-1表示出错。在socket_send内部,当写缓冲已满(send返回-1,且errno为EAGAIN),那么会等待后再重试.这种方式并不很完美,在理论上可能会长时间的阻塞在socket_send内部,但暂没有更好的办法. ssize_t socket_send(int sockfd, const char* buffer, size_t buflen) { ssize_t tmp; size_t total = buflen; const char *p = buffer; while(1) { tmp = send(sockfd, p, total, 0); if(tmp < 0) { // 当send收到信号时,可以继续写,但这里返回-1. if(errno == EINTR) return -1; // 当socket是非阻塞时,如返回此错误,表示写缓冲队列已满, // 在这里做延时后再重试. if(errno == EAGAIN) { usleep(1000); continue; } return -1; } if((size_t)tmp == total) return buflen; total -= tmp; p += tmp; }  return tmp; }   二、epoll在LT和ET模式下的读写方式 在一个非阻塞的socket上调用read/write函数, 返回EAGAIN或者EWOULDBLOCK(注: EAGAIN就是EWOULDBLOCK) 从字面上看, 意思是:   * EAGAIN: 再试一次 * EWOULDBLOCK: 如果这是一个阻塞socket, 操作将被block * perror输出:  Resource temporarily unavailable   总结: 这个错误表示资源暂时不够, 可能read时, 读缓冲区没有数据, 或者, write时，写缓冲区满了 。 遇到这种情况, 如果是阻塞socket, read/write就要阻塞掉。 而如果是非阻塞socket, read/write立即返回-1, 同 时errno设置为EAGAIN. 所以, 对于阻塞socket, read/write返回-1代表网络出错了. 但对于非阻塞socket, read/write返回-1不一定网络真的出错了. 可能是Resource temporarily unavailable. 这时你应该再试, 直到Resource available.   综上, 对于non-blocking的socket,  正确的读写操作为: 读: 忽略掉errno = EAGAIN的错误, 下次继续读 写: 忽略掉errno = EAGAIN的错误, 下次继续写   对于select和epoll的LT模式, 这种读写方式是没有问题的. 但对于epoll的ET模式, 这种方式还有漏洞.   epoll的两种模式 LT 和 ET

• 像首席技术官一样思考：如何高效管理 30 人的研发团队？-管理越多越轻松。好的研发团队，应该是上拨下用，即下级对上级的向上管理；而不是反过来，总是向下管理，甚至是 CTO 做经理的事，经理做工程师的事，工程师最终会被当成实习生。如果是这样，就会越管越累，不仅团队无法成长，而且团队整天很忙还效率低下，问题一大堆。 有这样一个小故事：一位高级经理下班后帮忙倒垃圾，结果被老板训斥了一顿。这就好比首席技术官做了实习生自己该做的事。事情本身没有对错之分，只是从不同的角度有不同的理解。 古人云："用人不疑，疑人不用"。在面对自己的研发团队时，应该相信他们能做好，授权一线开发人员充分发挥专业特长，不要限制他们的工作。但在相信他们的同时，也要进行二次确认，始终秉持 "我相信，但我要确认 "的原则和严谨的精神。因为每个人都会犯错和疏忽，通过发挥团队的智慧，团队犯错的机会就会大大减少。比如回归测试、代码审查、开发演示、变更审批等等。 如前所述，每个人都难免会犯错。但作为管理者，你所设计和商定的流程不能出错。管理者的每一个决定和沟通都应该经过深思熟虑。就像红绿灯的交通设计，某辆车不小心闯红灯可能会扣分，但红绿灯的设计一定要正确、人性化、统一。再比如，开发人员可能会因为疏忽大意写出 bug，但研发流程的设计和上线流程的发布不能有任何差错。因此，流程体系的设计，一方面要结合当前团队规模、业务特点和需要重点解决的问题来设计，另一方面也要在人员防错、效率提升、发挥团队集体智慧等维度进行综合考量。应该站在更高更抽象的角度去思考，不断思考一个倍受欢迎的园区应该如何设计，思考一个灵动、经典、永恒的建筑应该遵循怎样的模式，思考一个成功、优秀、卓越的研发团队应该需要怎样的流程和制度。 最后，反馈很重要。向上汇报很重要，向下反馈也很重要。能够保持顺畅的双向反馈和闭环管理，对研发团队的协作和沟通有着非常明显的积极作用。在向上汇报方面，要培养团队在正式汇报、会议汇报、私下沟通、书面总结、非正式场合等方面的沟通能力，提醒下属报喜也要报忧。凡事先记录，再跟进，最后反馈。反馈很重要，主动汇报更难得。 另一方面，同时也不要忽视向下反馈。好的爱，是双向的。团队也是如此，没有严格的上下级之分，只是分工和角色不同而已。作为管理者，不必总保持一种 "神秘感"，让人 "捉摸不透 "才是牛。当团队做得好或有人做得好时，要记得在公开或私下场合给予肯定和赞许。业务有增长、业绩有提升时，别忘了给团队一些鼓励，或者安排一次下午茶或聚餐。在例会或正式会议上，也可以同步向大家传达一些重要信息和高层指示。"欲速则不达，欲远则同行"。 当向上汇报、向下反馈的沟通闭环形成后，同时结合前面研发过程的管理闭环，双管齐下，就能形成良性循环。如此反复，持之以恒，优秀卓越的研发团队，必将呈现。 能力、产出和效率 接下来，继续重复关于能力、产出和效率的话题。 站在不同的角色，以及一个企业经营、生存和发展所需要的基础上，我把研发生产力分为三个层次，分别是：一线员工关心的研发能力、管理层关心的软件产出和操作人员关心的企业生产效率。简单概括就是：既要把工作做好，又要能出成果，还要能帮企业赚钱。

• F#探险之旅（二）：函数式编程（上）-函数式编程范式简介 F#主要支持三种编程范式：函数式编程（Functional Programming，FP）、命令式编程（Imperative Programming）和面向对象（Object-Oriented，OO）的编程。回顾它们的历史，FP是最早的一种范式，第一种FP语言是IPL，产生于1955年，大约在Fortran一年之前。第二种FP语言是Lisp，产生于1958，早于Cobol一年。Fortan和Cobol都是命令式编程语言，它们在科学和商业领域的迅速成功使得命令式编程在30多年的时间里独领风骚。而产生于1970年代的面向对象编程则不断成熟，至今已是最流行的编程范式。有道是“*代有语言出，各领风骚数十年”。 尽管强大的FP语言（SML，Ocaml，Haskell及Clean等）和类FP语言（APL和Lisp是现实世界中最成功的两个）在1950年代就不断发展，FP仍停留在学院派的“象牙塔”里；而命令式编程和面向对象编程则分别凭着在商业领域和企业级应用的需要占据领先。今天，FP的潜力终被认识——它是用来解决更复杂的问题的（当然更简单的问题也不在话下）。 纯粹的FP将程序看作是接受参数并返回值的函数的集合，它不允许有副作用（side effect，即改变了状态），使用递归而不是循环进行迭代。FP中的函数很像数学中的函数，它们都不改变程序的状态。举个简单的例子，一旦将一个值赋给一个标识符，它就不会改变了，函数不改变参数的值，返回值是全新的值。 FP的数学基础使得它很是优雅，FP的程序看起来往往简洁、漂亮。但它无状态和递归的天性使得它在处理很多通用的编程任务时没有其它的编程范式来得方便。但对F#来说这不是问题，它的优势之一就是融合了多种编程范式，允许开发人员按照需要采用最好的范式。 关于FP的更多内容建议阅读一下这篇文章：Why Functional Programming Matters（中文版）。F#中的函数式编程 从现在开始，我将对F#中FP相关的主要语言结构逐一进行介绍。标识符（Identifier） 在F#中，我们通过标识符给值（value）取名字，这样就可以在后面的程序中引用它。通过关键字let定义标识符，如： let x = 42 这看起来像命令式编程语言中的赋值语句，两者有着关键的不同。在纯粹的FP中，一旦值赋给了标识符就不能改变了，这也是把它称为标识符而非变量（variable）的原因。另外，在某些条件下，我们可以重定义标识符；在F#的命令式编程范式下，在某些条件下标识符的值是可以修改的。 标识符也可用于引用函数，在F#中函数本质上也是值。也就是说，F#中没有真正的函数名和参数名的概念，它们都是标识符。定义函数的方式与定义值是类似的，只是会有额外的标识符表示参数： let add x y = x + y 这里共有三个标识符，add表示函数名，x和y表示它的参数。关键字和保留字关键字是指语言中一些标记，它们被编译器保留作特殊之用。在F#中，不能用作标识符或类型的名称（后面会讨论“定义类型”）。它们是： abstract and as asr assert begin class default delegate do donedowncast downto elif else end exception extern false finally forfun function if in inherit inline interface internal land lazy letlor lsr lxor match member mod module mutable namespace new nullof open or override private public rec return sig static structthen to true try type upcast use val void when while with yield 保留字是指当前还不是关键字，但被F#保留做将来之用。可以用它们来定义标识符或类型名称，但编译器会报告一个警告。如果你在意程序与未来版本编译器的兼容性，最好不要使用。它们是： atomic break checked component const constraint constructor continue eager event external fixed functor global include method mixinobject parallel process protected pure sealed trait virtual volatile 文字值（Literals） 文字值表示常数值，在构建计算代码块时很有用，F#提供了丰富的文字值集。与C#类似，这些文字值包括了常见的字符串、字符、布尔值、整型数、浮点数等，在此不再赘述，详细信息请查看F#手册。 与C#一样，F#中的字符串常量表示也有两种方式。一是常规字符串（regular string），其中可包含转义字符；二是逐字字符串（verbatim string），其中的（"）被看作是常规的字符，而两个双引号作为双引号的转义表示。下面这个简单的例子演示了常见的文字常量表示： let message = "Hello World"r"n!" // 常规字符串let dir = @"C:"FS"FP" // 逐字字符串let bytes = "bytes"B // byte 数组let xA = 0xFFy  // sbyte, 16进制表示let xB = 0o777un // unsigned native-sized integer，8进制表示let print x = printfn "%A" xlet main =     print message;     print dir;     print bytes;     print xA;     print xB;      main Printf函数通过F#的反射机制和.NET的ToString方法来解析“%A”模式，适用于任何类型的值，也可以通过F#中的print_any和print_to_string函数来完成类似的功能。值和函数（Values and Functions） 在F#中函数也是值，F#处理它们的语法也是类似的。 let n = 10let add a b = a + blet addFour = add 4let result = addFour n printfn "result = %i" result 可以看到定义值n和函数add的语法很类似，只不过add还有两个参数。对于add来说a + b的值自动作为其返回值，也就是说在F#中我们不需要显式地为函数定义返回值。对于函数addFour来说，它定义在add的基础上，它只向add传递了一个参数，这样对于不同的参数addFour将返回不同的值。考虑数学中的函数概念，F(x, y) = x + y，G(y) = F(4, y)，实际上G(y) = 4 + y，G也是一个函数，它接收一个参数，这个地方是不是很类似？这种只向函数传递部分参数的特性称为函数的柯里化（curried function）。 当然对某些函数来说，传递部分参数是无意义的，此时需要强制提供所有参数，可是将参数括起来，将它们转换为元组（tuple）。下面的例子将不能编译通过： let sub(a, b) = a - blet subFour = sub 4 必须为sub提供两个参数，如sub(4, 5)，这样就很像C#中的方法调用了。 对于这两种方式来说，前者具有更高的灵活性，一般可优先考虑。 如果函数的计算过程中需要定义一些中间值，我们应当将这些行进行缩进： let halfWay a b =     let dif = b - a     let mid = dif / 2     mid + a 需要注意的是，缩进时要用空格而不是Tab，如果你不想每次都按几次空格键，可以在VS中设置，将Tab字符自动转换为空格；虽然缩进的字符数没有限制，但一般建议用4个空格。而且此时一定要用在文件开头添加#light指令。作用域（Scope）作用域是编程语言中的一个重要的概念，它表示在何处可以访问（使用）一个标识符或类型。所有标识符，不管是函数还是值，其作用域都从其声明处开始，结束自其所处的代码块。对于一个处于最顶层的标识符而言，一旦为其赋值，它的值就不能修改或重定义了。标识符在定义之后才能使用，这意味着在定义过程中不能使用自身的值。 let defineMessage =     let message = "Help me" print_endline message // error  对于在函数内部定义的标识符，一般而言，它们的作用域会到函数的结束处。 但可使用let关键字重定义它们，有时这会很有用，对于某些函数来说，计算过程涉及多个中间值，因为值是不可修改的，所以我们就需要定义多个标识符，这就要求我们去维护这些标识符的名称，其实是没必要的，这时可以使用重定义标识符。但这并不同于可以修改标识符的值。你甚至可以修改标识符的类型，但F#仍能确保类型安全。所谓类型安全，其基本意义是F#会避免对值的错误操作，比如我们不能像对待字符串那样对待整数。这个跟C#也是类似的。 let changeType =     let x = 1     let x = "change me"     let x = x + 1     print_string x 在本例的函数中，第一行和第二行都没问题，第三行就有问题了，在重定义x的时候，赋给它的值是x + 1，而x是字符串，与1相加在F#中是非法的。 另外，如果在嵌套函数中重定义标识符就更有趣了。 let printMessages =     let message = "fun value"     printfn "%s" message;     let innerFun  =         let message = "inner fun value"         printfn "%s" message     innerFun      printfn "%s" message      printMessages 打印结果： fun value inner fun valuefun value 最后一次不是inner fun value，因为在innerFun仅仅将值重新绑定而不是赋值，其有效范围仅仅在innerFun内部。递归（Recursion）递归是编程中的一个极为重要的概念，它表示函数通过自身进行定义，亦即在定义处调用自身。在FP中常用于表达命令式编程的循环。很多人认为使用递归表示的算法要比循环更易理解。 使用rec关键字进行递归函数的定义。看下面的计算阶乘的函数： let rec factorial x =     match x with     | x when x < 0 -> failwith "value must be greater than or equal to 0"       | 0 -> 1     | x -> x * factorial(x - 1) 这里使用了模式匹配（F#的一个很棒的特性），其C#版本为： public static long Factorial(int n) {     if (n < 0) { throw new ArgumentOutOfRangeException("value must be greater than or equal to 0"); }     if (n == 0) { return 1; }     return n * Factorial (n - 1); } 递归在解决阶乘、Fibonacci数列这样的问题时尤为适合。但使用的时候要当心，可能会写出不能终止的递归。匿名函数（Anonymous Function） 定义函数的时候F#提供了第二种方式：使用关键字fun。有时我们没必要给函数起名，这种函数就是所谓的匿名函数，有时称为lambda函数，这也是C#3.0的一个新特性。比如有的函数仅仅作为一个参数传给另一个函数，通常就不需要起名。在后面的“列表”一节中你会看到这样的例子。除了fun，我们还可以使用function关键字定义匿名函数，它们的区别在于后者可以使用模式匹配（本文后面将做介绍）特性。看下面的例子： let x = (fun x y -> x + y) 1 2let x1 = (function x -> function y -> x + y) 1 2let x2 = (function (x, y) -> x + y) (1, 2) 我们可优先考虑fun，因为它更为紧凑，在F#类库中你能看到很多这样的例子。 注意：本文中的代码均在F# 1.9.4.17版本下编写，在F# CTP 1.9.6.0版本下可能不能通过编译。 F#系列随笔索引页面