在一篇文章中详细解释字节序!
START
Hi,大家好!最近工作中有同事问到字节序的问题,并且因为对字节序理解片面产生了一些编程上的问题。所以,借这个机会整理了这篇文章,希望能加深大家对字节序问题的理解。
- 我们平时在写应用层程序时,一般不需要考虑字节序问题,因为字节序跟操作系统和硬件环境有关。而我们编写的程序很多情况下不需要跨平台,或者即使跨平台大都是一样的字节序(小端)。
- 但是当我们编写网络通信程序,就必须要考虑字节序问题,因为你的数据在这样的场景下要跨平台,必须解决不同系统、不同平台的字节序问题。
- 本章目录
unsetunset1、什么是字节序unsetunset
- 当字节数大于1时需要考虑字节序(只有一个字节的情况下,比如char类型,也就不存在顺序问题啦)。
- 多字节数据在内存中被存储为连续的字节序列,从低地址内存开始存储。例如0x87654321在内存可以从低位到高位顺序存储,也可以从高位到地位顺序存储。
字节序分类
- 大端字节序所谓大端字节序就是从内存连续存储时高位在前,低位在后。即低地址内存存高位字节,高地址内存存低位字节。
- 小端字节序所谓小端字节序就是从内存连续存储时低位在前,高位在后。即低地址内存存低位字节,高地址内存存高位字节。
名字由来
"大端"和"小端"这两个术语的由来据说源于《格列佛游记》(Gulliver's Travels)一书,作者是爱尔兰作家乔纳森·斯威夫特(Jonathan Swift),书中描绘了两个敌对国家之间的争议,该争议起源于吃蛋的方式。
在书中,主人公吉列佛·盖博是一个英国船长,他在一次航海中被风暴吹到了拉普图,这是一个由两个敌对国家组成的岛屿。这两个国家是博尔纳巴和利里巴。争议的起因是如何打破硬煮蛋的问题,这导致了两个国家的敌对。
- 博尔纳巴(Big-Endian): 博尔纳巴人认为应该从蛋的大端砸开,因为这样可以保证蛋壳上的裂纹最小,蛋液不易溅出。
- 利里巴(Little-Endian): 利里巴人则主张从蛋的小端砸开,他们认为这样更加方便,蛋壳碎片不易混入蛋液。
这个寓言故事中的争议象征着当时英国和法国之间的宗教和政治冲突,而在计算机科学领域,这个故事的概念被引用用来描述多字节数据在内存中的存储方式,即大端字节序和小端字节序。
因此,"大端"和"小端"这两个术语在计算机领域的使用,是借用了《格列佛游记》中的这个寓言故事,用来描述多字节数据中字节的存储顺序。
unsetunset2、字节序优缺点unsetunset
大端字节序(Big-Endian)和小端字节序(Little-Endian)是描述多字节数据在内存中存储顺序的两种方式。
优缺点
大端字节序
-
优点:
- 易于阅读:在内存中,数据的高位字节位于低地址,符合人类的阅读习惯。
-
缺点:
- 不利于低级别的存储与读取:对于一些底层的操作,例如位操作,需要更多的指令来处理。
小端字节序
-
优点:
- 简化低级别的操作:对于一些低级别的操作,例如在整数的最低位进行位操作,更加方便。
-
缺点:
- 阅读困难:在内存中,数据的高位字节位于高地址,不符合人类的阅读习惯,调试时可能会有一些困难。
选择标准
- 硬件架构: 大部分个人计算机和服务器采用小端字节序,而一些大型机器和网络设备采用大端字节序。
- 通信标准: 在网络通信中,通常使用大端字节序(网络字节序)。
- 处理器设计: 处理器的设计也会影响字节序的选择。
前面说过,在实际应用中很多情况下字节序并不会引起问题,但在一些特定的场景,例如网络通信、数据存储和处理器指令集等方面,正确处理字节序是非常重要的。
unsetunset3、常见系统字节序unsetunset
常见的操作系统和芯片可以使用大端字节序(Big-Endian)或小端字节序(Little-Endian),这取决于它们的设计和架构。
操作系统
-
Windows:
- Windows x86和x86-64架构使用小端字节序。
-
Linux:
- 大多数Linux系统(如x86和x86-64架构)采用小端字节序。
-
macOS:
- macOS运行在x86-64架构上,使用小端字节序。
-
UNIX:
- 大多数UNIX系统,包括Solaris和AIX,也使用小端字节序。
芯片架构
-
x86和x86-64:
- 这是Intel和AMD处理器常见的架构,它们使用小端字节序。
-
ARM:
- 大多数ARM处理器使用小端字节序,但某些特定的ARM处理器支持可配置的字节序。
-
MIPS:
- MIPS处理器可以配置为使用大端或小端字节序,具体取决于硬件设计。
-
PowerPC:
- PowerPC处理器可以配置为使用大端或小端字节序,根据系统和应用需求。
unsetunset4、系统字节序判断unsetunset
在C语言中,要判断系统的字节序,一种常见的方法是通过检查一个整数的存储方式来确定。以下是一个简单的示例:
#include <stdio.h>
int main() {
// 定义一个16位整数
unsigned short int num = 1;
// 将整数的地址转换为字符指针
char *ptr = (char *)#
// 判断字节序
if (*ptr == 1) {
printf("Little-Endian\n");
} else {
printf("Big-Endian\n");
}
return 0;
}
在这个例子中,我们定义了一个16位的整数 num
,然后通过将其地址转换为字符指针 ptr
,我们可以检查指针指向的内存中第一个字节的值来确定字节序。如果第一个字节的值是1,那么就是小端字节序;如果是0,则是大端字节序。
请注意,这种方法的可移植性可能不够好,因为它依赖于编译器的实现和系统的特定行为。更可靠的方法是使用头文件中定义的预处理器宏,例如 <endian.h>
中的 BYTE_ORDER
宏。在这个头文件中,BYTE_ORDER
可以是 __ORDER_LITTLE_ENDIAN__
、__ORDER_BIG_ENDIAN__
或 __ORDER_PDP_ENDIAN__
中的一个,分别表示小端、大端和PDP端字节序。以下是一个使用头文件的示例:
#include <stdio.h>
#include <endian.h>
int main() {
#if BYTE_ORDER == __LITTLE_ENDIAN
printf("Little-Endian\n");
#elif BYTE_ORDER == __BIG_ENDIAN
printf("Big-Endian\n");
#else
printf("Unknown Endian\n");
#endif
return 0;
}
使用预处理器宏更可移植,因为它们是由编译器提供的。更推荐此方法。
unsetunset5、网络字节序unsetunset
网络字节序(Network Byte Order)是一种标准化的字节序,用于在计算机网络中传输数据。网络字节序通常采用大端字节序(Big-Endian)。在网络通信中,确保发送和接收端使用相同的字节序是非常重要的,以避免数据解释错误。
以下是关于网络字节序的一些详解:
特点和标准
- 大端字节序: 在网络字节序中,数据的高字节保存在内存的低地址,低字节保存在高地址。这种规定有助于不同体系结构的计算机在网络上传输数据时能够正确解释字节序。
- 标准: 网络字节序的标准由互联网工程任务组(IETF)制定,它在网络协议中被广泛使用,例如在TCP和UDP协议的头部中。
字节序转换
在进行网络通信时,为确保数据在不同主机之间正确解释,可能需要进行字节序的转换。通常,发送端在发送数据之前将其转换为网络字节序,而接收端在接收数据后将其转换为本地字节序。
在C语言中,可以使用库函数 htonl
、htons
、ntohl
、ntohs
来进行字节序的转换:
-
htonl
(Host to Network Long):将32位整数由主机字节序转换为网络字节序。 -
htons
(Host to Network Short):将16位短整数由主机字节序转换为网络字节序。 -
ntohl
(Network to Host Long):将32位整数由网络字节序转换为主机字节序。 -
ntohs
(Network to Host Short):将16位短整数由网络字节序转换为主机字节序。
示例:
#include <stdio.h>
#include <arpa/inet.h>
int main() {
uint32_t localValue = 0x12345678; // 305419896 in decimal
// 将主机字节序转换为网络字节序
uint32_t networkValue = htonl(localValue);
printf("Local Value: %08x\n", localValue);
printf("Network Value: %08x\n", networkValue);
// 将网络字节序转换为主机字节序
uint32_t convertedValue = ntohl(networkValue);
printf("Converted Value: %08x\n", convertedValue);
return 0;
}
在这个例子中,我们演示了将主机字节序转换为网络字节序和将网络字节序转换为主机字节序的过程。这里使用的是32位整数,但对于16位短整数,可以使用 htons
和 ntohs
来进行转换。
unsetunset6、tcp通信时send和recvunsetunset
在TCP通信中,send
和 recv
函数通常不需要手动进行字节序的转换。这是因为TCP协议本身并不关心数据的表示形式,它仅仅负责按照字节流的形式传输数据。TCP是面向字节流的协议,它不关心数据的具体结构,也不对数据进行解释或处理。
字节序的问题通常涉及到在不同体系结构的计算机之间传输数据时,确保数据的正确解释。TCP通信在传输数据时会将数据以字节流的形式传输,而不关心数据的具体结构,因此不需要在send
和recv
中进行字节序的转换。
字节序的问题更常见于那些有特定数据结构的通信协议或文件格式,例如网络协议头部、数据包格式、文件格式等。在这些情况下,确保发送端和接收端对数据的解释是一致的,就需要进行字节序的转换。
在实际的网络通信中,确保发送和接收端采用相同的字节序是非常重要的,但这通常是由高层协议或应用程序负责的,而不是由TCP协议本身负责。常用的解决方案是使用网络字节序(大端字节序)进行数据传输,并在需要的时候进行字节序的转换,以确保不同平台之间的数据一致性。
上一篇: 字节序和位序
推荐阅读
-
在一篇文章中详细解释字节序!
-
有一篇文章详细解释了 Go 的 25 个关键字的含义、用途和代码示例--关于公开访问的说明,请访问以下链接
-
在一篇文章中明确概述候选代码、主代码、完整代码、外部代码、主属性、主键、主关键字和非主属性
-
掌握iOS直播技术 - 推流之RTP协议详解 原文解析: - 首先,原标题明确了主题是关于iOS直播技术中的推流部分,并且重点介绍了RTP协议。 - 其次,原标题用了一些专业的术语,如“流数据”、“实时传输”等,这可能会让一些非专业人员难以理解。 - 最后,原标题没有明确指出RTP协议的作用和重要性,也没有解释为什么需要了解RTP协议。 : - 我们将原标题简化为“掌握iOS直播技术 - 推流之RTP协议详解”,这样更容易让人明白文章的主题和内容。 - 在中,我们强调了“掌握”这个词,这暗示读者可以通过阅读这篇文章来学习和理解RTP协议。 - 此外,我们也加入了“RTP协议详解”这个短语,这让读者知道本文会详细介绍RTP协议的内容和作用。 修改原因: - 原标题过于专业,可能会让非专业人士感到困惑。我们将标题简化,使其更易于理解。 - 原标题没有明确指出RTP协议的重要性和作用,我们在中强调了这一点。 - 我们希望能够更好地吸引读者的兴趣,让他们愿意花时间阅读本文。
-
F#探险之旅(二):函数式编程(上)-函数式编程范式简介 F#主要支持三种编程范式:函数式编程(Functional Programming,FP)、命令式编程(Imperative Programming)和面向对象(Object-Oriented,OO)的编程。回顾它们的历史,FP是最早的一种范式,第一种FP语言是IPL,产生于1955年,大约在Fortran一年之前。第二种FP语言是Lisp,产生于1958,早于Cobol一年。Fortan和Cobol都是命令式编程语言,它们在科学和商业领域的迅速成功使得命令式编程在30多年的时间里独领风骚。而产生于1970年代的面向对象编程则不断成熟,至今已是最流行的编程范式。有道是“*代有语言出,各领风骚数十年”。 尽管强大的FP语言(SML,Ocaml,Haskell及Clean等)和类FP语言(APL和Lisp是现实世界中最成功的两个)在1950年代就不断发展,FP仍停留在学院派的“象牙塔”里;而命令式编程和面向对象编程则分别凭着在商业领域和企业级应用的需要占据领先。今天,FP的潜力终被认识——它是用来解决更复杂的问题的(当然更简单的问题也不在话下)。 纯粹的FP将程序看作是接受参数并返回值的函数的集合,它不允许有副作用(side effect,即改变了状态),使用递归而不是循环进行迭代。FP中的函数很像数学中的函数,它们都不改变程序的状态。举个简单的例子,一旦将一个值赋给一个标识符,它就不会改变了,函数不改变参数的值,返回值是全新的值。 FP的数学基础使得它很是优雅,FP的程序看起来往往简洁、漂亮。但它无状态和递归的天性使得它在处理很多通用的编程任务时没有其它的编程范式来得方便。但对F#来说这不是问题,它的优势之一就是融合了多种编程范式,允许开发人员按照需要采用最好的范式。 关于FP的更多内容建议阅读一下这篇文章:Why Functional Programming Matters(中文版)。F#中的函数式编程 从现在开始,我将对F#中FP相关的主要语言结构逐一进行介绍。标识符(Identifier) 在F#中,我们通过标识符给值(value)取名字,这样就可以在后面的程序中引用它。通过关键字let定义标识符,如: let x = 42 这看起来像命令式编程语言中的赋值语句,两者有着关键的不同。在纯粹的FP中,一旦值赋给了标识符就不能改变了,这也是把它称为标识符而非变量(variable)的原因。另外,在某些条件下,我们可以重定义标识符;在F#的命令式编程范式下,在某些条件下标识符的值是可以修改的。 标识符也可用于引用函数,在F#中函数本质上也是值。也就是说,F#中没有真正的函数名和参数名的概念,它们都是标识符。定义函数的方式与定义值是类似的,只是会有额外的标识符表示参数: let add x y = x + y 这里共有三个标识符,add表示函数名,x和y表示它的参数。关键字和保留字关键字是指语言中一些标记,它们被编译器保留作特殊之用。在F#中,不能用作标识符或类型的名称(后面会讨论“定义类型”)。它们是: abstract and as asr assert begin class default delegate do donedowncast downto elif else end exception extern false finally forfun function if in inherit inline interface internal land lazy letlor lsr lxor match member mod module mutable namespace new nullof open or override private public rec return sig static structthen to true try type upcast use val void when while with yield 保留字是指当前还不是关键字,但被F#保留做将来之用。可以用它们来定义标识符或类型名称,但编译器会报告一个警告。如果你在意程序与未来版本编译器的兼容性,最好不要使用。它们是: atomic break checked component const constraint constructor continue eager event external fixed functor global include method mixinobject parallel process protected pure sealed trait virtual volatile 文字值(Literals) 文字值表示常数值,在构建计算代码块时很有用,F#提供了丰富的文字值集。与C#类似,这些文字值包括了常见的字符串、字符、布尔值、整型数、浮点数等,在此不再赘述,详细信息请查看F#手册。 与C#一样,F#中的字符串常量表示也有两种方式。一是常规字符串(regular string),其中可包含转义字符;二是逐字字符串(verbatim string),其中的(")被看作是常规的字符,而两个双引号作为双引号的转义表示。下面这个简单的例子演示了常见的文字常量表示: let message = "Hello World"r"n!" // 常规字符串let dir = @"C:"FS"FP" // 逐字字符串let bytes = "bytes"B // byte 数组let xA = 0xFFy // sbyte, 16进制表示let xB = 0o777un // unsigned native-sized integer,8进制表示let print x = printfn "%A" xlet main = print message; print dir; print bytes; print xA; print xB; main Printf函数通过F#的反射机制和.NET的ToString方法来解析“%A”模式,适用于任何类型的值,也可以通过F#中的print_any和print_to_string函数来完成类似的功能。值和函数(Values and Functions) 在F#中函数也是值,F#处理它们的语法也是类似的。 let n = 10let add a b = a + blet addFour = add 4let result = addFour n printfn "result = %i" result 可以看到定义值n和函数add的语法很类似,只不过add还有两个参数。对于add来说a + b的值自动作为其返回值,也就是说在F#中我们不需要显式地为函数定义返回值。对于函数addFour来说,它定义在add的基础上,它只向add传递了一个参数,这样对于不同的参数addFour将返回不同的值。考虑数学中的函数概念,F(x, y) = x + y,G(y) = F(4, y),实际上G(y) = 4 + y,G也是一个函数,它接收一个参数,这个地方是不是很类似?这种只向函数传递部分参数的特性称为函数的柯里化(curried function)。 当然对某些函数来说,传递部分参数是无意义的,此时需要强制提供所有参数,可是将参数括起来,将它们转换为元组(tuple)。下面的例子将不能编译通过: let sub(a, b) = a - blet subFour = sub 4 必须为sub提供两个参数,如sub(4, 5),这样就很像C#中的方法调用了。 对于这两种方式来说,前者具有更高的灵活性,一般可优先考虑。 如果函数的计算过程中需要定义一些中间值,我们应当将这些行进行缩进: let halfWay a b = let dif = b - a let mid = dif / 2 mid + a 需要注意的是,缩进时要用空格而不是Tab,如果你不想每次都按几次空格键,可以在VS中设置,将Tab字符自动转换为空格;虽然缩进的字符数没有限制,但一般建议用4个空格。而且此时一定要用在文件开头添加#light指令。作用域(Scope)作用域是编程语言中的一个重要的概念,它表示在何处可以访问(使用)一个标识符或类型。所有标识符,不管是函数还是值,其作用域都从其声明处开始,结束自其所处的代码块。对于一个处于最顶层的标识符而言,一旦为其赋值,它的值就不能修改或重定义了。标识符在定义之后才能使用,这意味着在定义过程中不能使用自身的值。 let defineMessage = let message = "Help me" print_endline message // error 对于在函数内部定义的标识符,一般而言,它们的作用域会到函数的结束处。 但可使用let关键字重定义它们,有时这会很有用,对于某些函数来说,计算过程涉及多个中间值,因为值是不可修改的,所以我们就需要定义多个标识符,这就要求我们去维护这些标识符的名称,其实是没必要的,这时可以使用重定义标识符。但这并不同于可以修改标识符的值。你甚至可以修改标识符的类型,但F#仍能确保类型安全。所谓类型安全,其基本意义是F#会避免对值的错误操作,比如我们不能像对待字符串那样对待整数。这个跟C#也是类似的。 let changeType = let x = 1 let x = "change me" let x = x + 1 print_string x 在本例的函数中,第一行和第二行都没问题,第三行就有问题了,在重定义x的时候,赋给它的值是x + 1,而x是字符串,与1相加在F#中是非法的。 另外,如果在嵌套函数中重定义标识符就更有趣了。 let printMessages = let message = "fun value" printfn "%s" message; let innerFun = let message = "inner fun value" printfn "%s" message innerFun printfn "%s" message printMessages 打印结果: fun value inner fun valuefun value 最后一次不是inner fun value,因为在innerFun仅仅将值重新绑定而不是赋值,其有效范围仅仅在innerFun内部。递归(Recursion)递归是编程中的一个极为重要的概念,它表示函数通过自身进行定义,亦即在定义处调用自身。在FP中常用于表达命令式编程的循环。很多人认为使用递归表示的算法要比循环更易理解。 使用rec关键字进行递归函数的定义。看下面的计算阶乘的函数: let rec factorial x = match x with | x when x < 0 -> failwith "value must be greater than or equal to 0" | 0 -> 1 | x -> x * factorial(x - 1) 这里使用了模式匹配(F#的一个很棒的特性),其C#版本为: public static long Factorial(int n) { if (n < 0) { throw new ArgumentOutOfRangeException("value must be greater than or equal to 0"); } if (n == 0) { return 1; } return n * Factorial (n - 1); } 递归在解决阶乘、Fibonacci数列这样的问题时尤为适合。但使用的时候要当心,可能会写出不能终止的递归。匿名函数(Anonymous Function) 定义函数的时候F#提供了第二种方式:使用关键字fun。有时我们没必要给函数起名,这种函数就是所谓的匿名函数,有时称为lambda函数,这也是C#3.0的一个新特性。比如有的函数仅仅作为一个参数传给另一个函数,通常就不需要起名。在后面的“列表”一节中你会看到这样的例子。除了fun,我们还可以使用function关键字定义匿名函数,它们的区别在于后者可以使用模式匹配(本文后面将做介绍)特性。看下面的例子: let x = (fun x y -> x + y) 1 2let x1 = (function x -> function y -> x + y) 1 2let x2 = (function (x, y) -> x + y) (1, 2) 我们可优先考虑fun,因为它更为紧凑,在F#类库中你能看到很多这样的例子。 注意:本文中的代码均在F# 1.9.4.17版本下编写,在F# CTP 1.9.6.0版本下可能不能通过编译。 F#系列随笔索引页面