数据交换利器 Protobuf 技术浅析

由于最近公司采用protocol buffer(以下简称protobuf)来作为不同应用之间的数据交换,故最近一段时间研究了protobuf相关技术。在这里分享下。

protobuf是什么?

protobuf是google旗下的一款平台无关,语言无关,可扩展的序列化结构数据格式。所以很适合用做数据存储和作为不同应用,不同语言之间相互通信的数据交换格式,只要实现相同的协议格式即同一proto文件被编译成不同的语言版本,加入到各自的工程中去。这样不同语言就可以解析其他语言通过protobuf序列化的数据。目前官网提供了C++,Python,JAVA,GO等语言的支持。

protobuf 语法定义

要想使用protobuf必须得先定义proto文件。所以得先熟悉protobuf的消息定义的相关语法。下面就来介绍

首先我们先定义一个proto文件,结构如下:

上面我们主要定义了一个消息,这个消息包括文章ID,文章摘要,文章图片。下面给出消息定义的相关说明

message是消息定义的关键字

required 表示这个字段必须的,必须在序列化的时候被赋值。

optional 代表这个字段是可选的,可以为0个或1个但不能大于1个。

repeated 则代表此字段可以被重复任意多次包括0次。

int32和string是字段的类型。后面是我们定义的字段名。

最后的1,2,3则是代表每个字段的一个唯一的编号标签,在同一个消息里不可以重复。这些编号标签用与在消息二进制格式中标识你的字段,并且消息一旦定义就不能更改。需要说明的是标签在1到15范围的采用一个字节进行编码。所以通常将标签1到15用于频繁发生的消息字段。编号标签大小的范围是1到229 – 1。此外不能使用protobuf系统预留的编号标签(19000 -19999)。

当然protobuf支持更多的类型,比如bool,double,float,枚举,也可以是其他定义过的消息类型譬如前面的消息Article。支持的基本类型如下:

基本数据类型

下面让我们定义一个数据比较多的article.proto文件来再次说明下proto语法的相关内容,起码通过列子可以更直观的感受。

上面proto文件,我们定义了enum枚举类型,嵌套的消息。甚至对原有的消息进行了扩展,也可以对字段设置默认值。添加注释等

此外reserved关键字主要用于保留相关编号标签,主要是防止在更新proto文件删除了某些字段,而未来的使用者定义新的字段时重新使用了该编号标签。这会引起一些问题在获取老版本的消息时,譬如数据冲突,隐藏的一些bug等。所以一定要用reserved标记这些编号标签以保证不会被使用

当我们需要对消息进行扩展的时候,我们可以用extensions关键字来定义一些编号标签供第三方扩展。这样的好处是不需要修改原来的消息格式。就像上面proto文件,我们用extend关键字来扩展。只要扩展的字段编号标签在extensions定义的范围里。

对于基本数值类型,由于历史原因,不能被protobuf更有效的encode。所以在新的代码中使用packed=true可以更加有效率的encode。注意packed只能用于repeated 数值类型的字段。不能用于string类型的字段。

在消息Other中我们看到定义了一个oneof关键字。这个关键字作用比较有意思。当你设置了oneof里某个成员值时,它会自动清除掉oneof里的其他成员,也就是说同一时刻oneof里只有一个成员有效。这常用于你有许多optional字段时但同一时刻只能使用其中一个,就可以用oneof来加强这种效果。但需要注意的是oneof里的字段不能用required,optional,repeted关键字

一般在我们的项目中肯定会有很多消息类型。我们总不能都定义在一个文件中。当一个proto文件需要另一个proto文件的时候,我们可以通过import导入,就像下面这样:

protobuf也提供了包的定义,只要在文件开头定义package关键字即可。主要是为了防止命名冲突,不过对于Python语言在编译的时候会忽略包名。

很多时候我们会修改更新我们定义的proto文件,如果不遵守一定规则的话,修改的后proto文件可能会引发许多异常。在官网上对更新proto有以下几点要求

1.不能改变已有的任何编号标签。

2.只能添加optional和repeated的字段。这样旧代码能够解析新的消息,只是那些新添加的字段会被忽略。但是序列化的时候还是会包含哪些新字段。而新代码无论是旧消息还是新消息都可以解析。

3.非required的字段可以被删除,但是编号标签不可以再次被使用,应该把它标记到reserved中去

4.非required可以被转换为扩展字段,只要字段类型和编号标签保持一致

5.相互兼容的类型,可以从一个类型修改为另一个类型,譬如int32的字段可以修改为int64

ptotobuf语法相对比较简单,一般都能很快熟悉上手。这里只是粗浅的介绍下,更多详细内容可以参考https://developers.google.com/protocol-buffers/docs/proto

proto文件编译

现在我们有了proto文件,需要把它编译成我们需要的语言,这里以python为例。通过以下命令生成我们需要的python代码,你会发现目录多了一个article_pb2.py的文件。

-I 指定搜索proto文件的目录,这里指定为当前目录。-I 也可以写成 –proto_path

–python_out 会将生成的python代码文件放到等号后面指定的目录,这里也指定当前目录。如果需要生成其他语言的代码譬如java换成–java_out即可。这里提供一个官网提供的模版,如下

最后指定我们要编译的proto文件。

现在我们有了编译后的article_pb2.py,加入到我们的项目中去该怎么用呢?这个时候就需要用到google提供的protobuf python API。 下面我们通过例子来简单介绍下API的使用

protobuf python api的使用

直接贴代码来看,详细的说明都在注释里。主要的SerializeToString和ParseFromString2个方法。一个序列化,一个反序列化。

以上主要是通过python来操作protobuf序列化的数据,我们也可以将序列化后的数据通过网络发给其他应用。通过protobuf序列化的数据体量更小,传递效率相比于XML,JSON效率会更高。其他应用也不需要是python,可以是java,c++。只要实现了相同的proto协议,就可以解析发送过来的序列化数据。

以上就是本人对protobuf的理解,有不当之处还请指出,谢谢!

打赏支持我写出更多好文章,谢谢!

打赏作者

打赏支持我写出更多好文章,谢谢!

任选一种支付方式

3 8 收藏 7 评论

关于作者:oliver_lv

一只在原野中奔跑的程序猿,混迹于众猿之中,偶尔咆哮下刷刷存在感 个人主页 · 我的文章 · 11 ·    

相关文章

可能感兴趣的话题



直接登录
最新评论
  • 阿喵 啥也没研究的研究生-.- 2016/11/05

    很清晰明了啊!!

  • zengnenghun 后端开发 2016/11/06

    提供的代码案例很详细,学习了

  • 麦田听雨声   04/11

    你好,我想请教一下如何获取enum变量对应的值?比如:
    enum ArticleType {
        NOVEL = 0;
        PROSE = 1;
        PAPER = 2;
        POETRY = 3;
      }
    取值时如何取到NOVEL对应的0,以及给了一个“1”,如何知道是“PROSE”?不知道我的表述是否清楚。谢谢。

  • 麦田听雨声   04/25

    您好,请问您知道如何遍历查询一个protobuf消息中所有的字段吗?
    我知道一种方法就是首先取到field_count,然后通过FindFieldByNumber(),来循环读取所有的字段,但是现在有一种情况,就是protobuf定义时,字段号是不连续的,比如下面这种,
    message MyPb
    {
    uint32 id =1;
    uint32 score =2;
    string name =5;
    uint32 high =6;
    }
    像上面这种定义,取到的field_count应该是4,那么我遍历时调用FindFieldByNumber(1)~FindFieldByNumber(4),能取到字段号为5的name以及为6的high吗?或者我的理解有问题,取得时候通过FindFieldByNumber(1)~FindFieldByNumber(4)便可以取到所有的字段。
    谢谢。

跳到底部
返回顶部