一种基于Transformer的语义通信系统及方法

一种基于transformer的语义通信系统及方法
技术领域
1.本发明属于语义通信领域，尤其涉及一种基于transformer的语义通信系统及方法。


背景技术：

2.根据香农和韦弗所提出的信息伦，我们能够将通信分为三个层次。第一个层次为传输问题，它主要研究的通信的符号如何准确的传输，第二层次为语义问题，它研究的主要是如何准确传达通信符号中的语义，第三层次为效用问题，它主要解决收到的语义如何按照期望方式有效影响行为的问题。受时代限制，在香农建立信息论以来的七十多年里，广大学者对于如何逼近香农极限做出了大量的尝试，但是这些工作主要还是集中在通信的第一层次即如何准确传输通信符号。近年来，人工智能以及自然语言处理等相关技术的发展为我们探索语义通信的第二层次提供了可能，语义通信也将逐渐成为通信领域中的一大研究趋势。
3.现有存在基于transformer的语义通信系统，但是现有的基于一般transformer的语义通信系统仍然并不完善，在面对不同的信道情况时，现有的transformer并不会灵活的自我调整，在初始设置好transformer的层数后，无论碰到什么情况的信道，现有的语义系统，都会使用设置好的层数进行语义处理，而不会根据信道情况进行灵活的自我调节。


技术实现要素：

4.针对现有技术不足，本发明提供了一种基于transformer的语义通信系统及方法。
5.为实现上述目的，本发明的技术方案为：本发明提出了一种基于transformer的语义通信系统，包括自适应通用编码器、无线信道模块和自适应通用解码器；所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接；所述自适应通用编码器包括输入语句嵌入模块、循环编码模块和act模块；所述自适应通用解码器包括目标语句词嵌入模块、循环解码模块和act模块；所述输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；所述循环编码模块用于对词嵌入后的输入语句进行编码；所述目标语句词嵌入模块用于对目标语句进行词嵌入，并添加位置向量；所述循环解码模块用于对词嵌入后的目标语句和通过无线信道接收的编码的输入语句进行解码；所述act模块用于检测编解码是否充分。
6.本发明提出了一种基于transformer的语义通信方法，包括以下步骤：
7.(1)根据自适应通用编码器和自适应通用解码器的共有知识，将双方传输过程中可能会用的单词进行编号，创建词典；
8.(2)利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；
9.(3)利用循环编码模块对输入语句对应的带有位置向量的词向量进行编码；再利
用act模块检测编码是否充分，若编码充分，则通过无线信道模块将编码后的输入语句传输到自适应通用解码器，若编码不充分，则重复编码，直至满足检测条件；
10.(4)将步骤(3)得到的语义编码后的信息通过无线信道模块传输到自适应通用解码器。
11.(5)将目标语义对应的带有位置向量的词向量输入循环解码模块，利用循环解码模块对该词向量和通过无线信道接收的编码信息进行解码；再通过act模块进行检测解码是否充分，若解码不充分，则重复进行解码，直至满足检测条件；若解码重复，则将解码后的语句文本经概率逻辑回归处理后输出。
12.本发明的有益效果为：本发明利用ai技术来进行文本的传输，考虑到了文本的语义信息，相较于传统的编码方式，本发明根据文本的语义进行编码，在低信噪比的情况下，文本传输的准确度有了不小的提升。本发明方法基于universal transformer对文本进行一个语义提取，将循环机制引入到语义通信系统中，让整个语义通信系统能够针对所传输语句的受干扰情况和其中所蕴含的语义信息情况，应用不同的循环次数去应对，从而在原先固定层数的语义通信系统的情况下取得一个更好的效果。
附图说明
13.图1为本发明框架结构图；
14.图2为本发明方法流程图；
15.图3为本发明系统与传统的传统的turbo编码以及rs编码的性能比较图；
16.图4为本发明系统在不同信噪比的情况下所需的循环次数图。
具体实施方式
17.下面结合实施例和附图对本发明方案做进一步阐述。
18.本发明公开了一种基于transformer的语义通信系统，包括自适应通用编码器、无线信道模块和自适应通用解码器；所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接；所述自适应通用编码器包括输入语句嵌入模块、循环编码模块和act模块；所述循环编码模块包括依次连接的传输层和多头自注意层；所述自适应通用解码器包括目标语句词嵌入模块、循环解码模块和act模块；所述循环解码模块包括依次连接的多头自注意层、多头注意层和传输层。所述输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量，得到输入语句对应的带有位置向量的词向量。所述循环编码模块用于对词嵌入后的输入语句进行编码。所述无线信道模块包括第一全连接层、无线信道和第二全连接层，所述第一全连接层和第二全连接层都由两层券连接层组成。所述目标语句词嵌入模块用于对目标语句进行词嵌入，并添加位置向量，得到目标语句对应的带有位置向量的词向量。所述循环解码模块用于对词嵌入后的目标语句和通过无线信道接收的编码的输入语句进行解码。所述自适应通用编码器中的act模块和自适应通用解码器中的act模块相同，用于检测对语句的编解码是否充分。
19.本发明公开了一种基于transformer的语义通信系统及方法，具体包括以下步骤：
20.(1)根据接收双方(即自适应通用编码器和自适应通用解码器)的共有知识，将双方传输过程中所有可能会用的单词进行编号，创建一个词典；包括以下子步骤：
21.(1.1)读入整个用于传输的文本文件；
22.(1.2)对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，自定义使用过低的频次(本发明实施例中设定为10次)，移除使用次数过低的单词，使用unk(未知)来代替移除的词；
23.(1.3)在整个字典中添加sos(开始)，eos(终止)等拥有特殊意义的字符；将sos(开始)和用于传输的文本构成输入语句；将用于传输的文本和eos(终止)构成目标语句。
24.(1.4)输出词典。
25.(2)利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；所述词嵌入和添加位置向量的过程具体为：
26.(2.1)创建一个嵌入层embedding，将需要传输的语句送入嵌入层embedding，将其转化成为相映维度的词向量；
27.(2.2)为了让模型能够理解语句中单词的顺序，需要添加位置向量，公式如下：
[0028][0029][0030]
其中pos指的是一句话中某个字的位置，取值范围是[0，l)，l为句子的长度，i指的是子向量的维度序号，取值范围是[0，embedding_dimension/2)，embedding_dimension是嵌入的维度，d
model
指的是embedding层的嵌入维度embedding_dimension的值；
[0031]
(2.3)将步骤(2.1)得到的词向量和步骤(2.2)得到的对应的位置向量相加，得到拥有位置信息的词向量x
embedding
。将输入语句对应的拥有位置信息的词向量输入循环编码模块，将目标语句对应的拥有位置信息的词向量输入循环解码模块。
[0032]
(3)利用循环编码模块对添加位置向量后的输入语句进行编码；再利用act模块检测编码是否充分，若编码充分，则通过无线信道模块将编码后的输入语句传输到自适应通用解码器，若编码不充分，则重复编码，直至满足检测条件。包括以下子步骤：
[0033]
(3.1)定义三个矩阵wq，wk，wv，根据这三个矩阵，对步骤(2)中得到的输入语句对应的带有位置向量的词向量进行三次线性变化，得到查询向量q，键向量k和值向量v；
[0034]
(3.2)对上述得到的三个向量，利用循环编码模块中的多头注意层计算自注意力self-attention，得到向量x
attention
，公式如下：
[0035][0036]
其中，dk表示向量的维度；
[0037]
(3.3)进行残差连接：将步骤(3.2)得到向量x
attention
与第二步中得到的x
embedding
相加，并将得到的结果进行层归一化(layer normalization)操作得到残差向量x
′
attention
，其中x
′
attention
＝layernorm(x
embedding
+x
attention
)；
[0038]
(3.4)对步骤(3.3)得到的残差向量x
′
attention
通过循环编码模块中的前馈传输层，通过两层线性映射并用激活函数relu进行激活得到语义编码向量x
hidden
＝linear(relu(linear(x
′
attention
)))；
[0039]
(3.5)对于步骤(3.4)得到的语义编码向量x
hidden
，通过act模块进行检测进行判断语义是否充分提取；如果不通过，则检测失败，则将得到的语义编码向量x
hidden
作为输入，重
复步骤(3.1)～(3.4)，直至满足检测条件；若编码充分，则通过无线信道模块将编码后的输入语句传输到自适应通用解码器。
[0040]
(4)将步骤(3)得到的语义编码后的信息通过无线信道模块传输到自适应通用解码器。
[0041]
(5)将通过无线信道接收的编码信息通过universal transformer的decoder组成的语义解码层，根据接收到的语义信息，进行语义解码，经概率逻辑回归后，输出语句。包括以下子步骤：
[0042]
(5.1)将步骤(2)得到的目标语句的词嵌入向量输入多头自注意层进行解码。
[0043]
所述步骤(5.1)的计算流程与编码操作中的(3.1)与(3.2)self-attention相似，结构也相同，不同的是，在编码器中，q，k，v的输入为输入语句的词嵌入向量，而在这一步中q，k，v的输入为目标语句的词嵌入向量。
[0044]
(5.2)将通过无线信道接收的编码信息和步骤(5.1)多头自注意层的输出信息输入多头注意层进行解码。
[0045]
所述步骤(5.2)的计算流程与编码操作中的(3.1)与(3.2)self-attention相似，结构也相同，不同的是，k，v的输入为解码器接收到的信道解码后的信息，q的输入为目标语句经过多头自注意层的输出信息。
[0046]
(5.3)在目标语句通过多头自注意层与多头注意层之后通过循环解码模块中的前馈传输层，得到语义解码向量。
[0047]
(5.4)通过act模块检验语义解码向量是否解码充分，如果检测失败解码不充分，则将得到的语义解码向量作为输入，重复步骤(5.1)-(5.3)，直至满足检测条件；若解码充分，则进行概率逻辑回归，输出解码后的语句。
[0048]
(5.5)通过softmax函数进行概率逻辑回归，输出语句。
[0049]
所述act模块基于universal transformer的act算法，用于检测语句文本编解码是否充分，如果判断为充分，则完成编解码进入下一模块，如果判断为不充分，则将编解码的结果继续作为输入，进行一个循环操作。其具体过程为：
[0050]
第1步、建立一个输出维度为1的全连接层dense；
[0051]
第2步、定义截止向量halting score，所述截止向量halting score是一个取值在[0，1]的标量，每一次循环编码模块或者循环解码模块运行完之后，会累计上一步中所积累的所有截止值，当累积的截止向量halting score达到1时，相应的计算就会停止，输出结果跳出编解码循环直接进入下一步；
[0052]
第3步、计算当前的输入向量x的状态p，所述状态p的计算方式为：
[0053]
p＝sigmoid(dense(x))
[0054]
其中，sigmoid表示激活函数sigmoid，dense为第1步中建立的全连接层；
[0055]
第4步、统计当前输入中满足编解码条件的向量，公式如下：
[0056]
still＝halting score＜1；
[0057]
第5步、对满足停止条件的位置进行mask操作，得到new_halt，公式如下：
[0058]
new_halt＝(halt score+p*still＞threshold)*still；
[0059]
第6步、更新输入的向量不满足条件，仍处于运行状态的情况，公式如下：
[0060]
still＝(halt score+p*still＜threshold)*still；
[0061]
第7步、更新截止向量halting score，公式如下：
[0062]
halting score＝halting score+p*still；
[0063]
第8步、计算残留值，公式如下：
[0064]
remainder＝new_halt*(1-halting score)；
[0065]
第9步、根据残留值remainder和截止向量halting score计算更新权重w，公式如下：
[0066]
w＝p*still+new_halt*remainder；
[0067]
第10步、根据更新权重对原输入进行更新，公式如下：
[0068]
state＝state*w+previou state*(1-w)：
[0069]
第11步、重复上述3-10步直至所有向量满足act的停止条件，或者达到预先设置的最大停止次数。
[0070]
如图3所示，显示了本发明所提出的基于universal transformer的语义通信系统与正常的transformer的通信系统以及传统的turbo编码以及rs编码的性能比较，横坐标为snr(信噪比)，纵坐标为ser(误符号率)，可以看出在低信噪比的情况下，利用transformer的语义通信系统拥有更好的性能；基于universal transformer的语义通信系统与正常的transformer的通信系统相比较，基于universal transformer的语义通信系统性能也更加优秀。
[0071]
如图4所示，在不同snr(信噪比)的情况下，本发明基于universal transformer的语义通信系统在面对不同句子的时候所需要的循环次数，可以看出随着snr的增加，信道噪声的减少，系统所需要的循环次数也在不断缩减，在同一信噪比的情况下，系统的循环次数也会根据面对句子的不同语义情况而发生变动。这说明了提出的基于universal transformer的语义通信系统能够灵活的针对不同的信噪比与句子的语义情况，做出及时的调整。
[0072]
综上所述，本发明考虑到了文本的语义信息，相较于传统的编码方式，本发明根据文本的语义进行编码，在低信噪比的情况下，文本传输的准确度有了不小的提升。本发明方法基于universal transformer对文本进行一个语义提取，将循环机制引入到语义通信系统中，让整个语义通信系统能够针对所传输语句的受干扰情况和其中所蕴含的语义信息情况，应用不同的循环次数去应对，从而在原先固定层数的语义通信系统的情况下取得一个更好的效果。

技术特征：
1.一种基于transformer的语义通信系统，其特征在于，包括自适应通用编码器、无线信道模块和自适应通用解码器；所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接；所述自适应通用编码器包括输入语句嵌入模块、循环编码模块和act模块；所述自适应通用解码器包括目标语句词嵌入模块、循环解码模块和act模块；所述输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；所述循环编码模块用于对词嵌入后的输入语句进行编码；所述目标语句词嵌入模块用于对目标语句进行词嵌入，并添加位置向量；所述循环解码模块用于对词嵌入后的目标语句和通过无线信道接收的编码的输入语句进行解码；所述act模块用于检测编解码是否充分。2.根据权利要求1所述的基于transformer的语义通信系统，其特征在于，所述act模块的工作过程具体为：第1步、建立一个输出维度为1的全连接层dense；第2步、定义截止向量halting score，所述截止向量halting score是一个取值在[0，1]的标量，每一次循环编码模块或者循环解码模块运行完之后，累计上一步中所积累的所有截止值，当累积的截止向量halting score达到1时，计算停止，输出结果，跳出编解码循环进入下一步；第3步、计算当前的输入向量x的状态p，所述状态p的计算方式为：p＝sigmoid(dense(x))其中，sigmoid表示激活函数sigmoid；第4步、统计当前输入中满足编解码条件的向量，公式如下：still＝halting score<1；第5步、对满足停止条件的位置进行mask操作，得到new_halt，公式如下：new_halt＝(halt score+p*still＞threshold)*still；第6步、更新输入的向量不满足条件，仍处于运行状态的情况，公式如下：still＝(halt score+p*still＜threshold)*still；第7步、更新截止向量halting score，公式如下：halting score＝halting score+p*still；第8步、计算残留值remainder，公式如下：remainder＝new_halt*(1-halting score)；第9步、根据残留值remainder和截止向量halting score计算更新权重w，公式如下：w＝p*still+new_halt*remainder；第10步、根据更新权重对原输入进行更新，公式如下：state＝state*w+previou state*(1-w)；第11步、重复上述3-10步直至所有向量满足act的停止条件，或者达到预先设置的最大停止次数。3.一种应用权利要求1所述系统的基于transformer的语义通信方法，其特征在于，包括以下步骤：(1)根据自适应通用编码器和自适应通用解码器的共有知识，将双方传输过程中可能会用的单词进行编号，创建词典；(2)利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词
嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；(3)利用循环编码模块对输入语句对应的带有位置向量的词向量进行编码；再利用act模块检测编码是否充分，若编码充分，则通过无线信道模块将编码后的输入语句传输到自适应通用解码器，若编码不充分，则重复编码，直至满足检测条件；(4)将步骤(3)得到的语义编码后的信息通过无线信道模块传输到自适应通用解码器。(5)将目标语义对应的带有位置向量的词向量输入循环解码模块，利用循环解码模块对该词向量和通过无线信道接收的编码信息进行解码；再通过act模块进行检测解码是否充分，若解码不充分，则重复进行解码，直至满足检测条件；若解码重复，则将解码后的语句文本经概率逻辑回归处理后输出。4.根据权利要求3所述的基于transformer的语义通信方法，其特征在于，所述步骤(1)包括以下子步骤：(1.1)读入整个用于传输的文本文件；(1.2)对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，自定义使用过低的频次，移除使用次数过低的单词；(1.3)在整个字典中添加开始或终止字符；(1.4)输出词典。5.根据权利要求3所述的基于transformer的语义通信方法，其特征在于，所述步骤(2)中词嵌入和添加位置向量的过程包括以下子步骤：(2.1)创建一嵌入层embedding，将需要传输的语句送入嵌入层embedding，将其转化成为相映维度的词向量；(2.2)添加位置向量，公式如下：(2.2)添加位置向量，公式如下：其中，pos指的是一句话中某个字的位置，取值范围是[0,l)，l为句子的长度，i指的是子向量的维度序号，取值范围是[0,embedding_dimension/2)，embedding_dimension是嵌入的维度，d
model
指的是embedding层的嵌入维度embedding_dimension的值；(2.3)将步骤(2.1)得到的词向量和步骤(2.2)得到的对应的位置向量相加，得到拥有位置信息的词向量x
embedding
。6.根据权利要求3所述的基于transformer的语义通信方法，其特征在于，所述步骤(3)具体为：(3.1)定义三个矩阵w
q
,w
k
,wv,根据这三个矩阵对步骤(2)中得到的输入语句对应的带有位置向量的词向量进行三次线性变化，得到查询向量q,键向量k和值向量v；(3.2)利用循环编码模块中的多头注意层计算自注意力self-attention，得到向量x
attention
，公式如下：其中，d
k
表示向量的维度；(3.3)将步骤(3.2)得到向量x
attention
与步骤(2)中得到的x
embedding
相加，并将得到的结
果进行层归一化操作得到残差向量x
′
attention
；其中x
′
attention
＝layernorm(x
embedding
+x
attention
)；(3.4)对步骤(3.3)得到的残差向量x
′
attention
通过循环编码模块中的前馈传输层，通过两层线性映射并用激活函数relu进行激活得到语义编码向量x
hidden
；(3.5)对于步骤(3.4)得到的语义编码向量x
hidden
，通过act模块进行检测进行判断语义是否充分提取；如果不通过，则检测失败，则将得到的语义编码向量x
hidden
作为输入，重复步骤(3.1)～(3.4)，直至满足检测条件；若编码充分，则通过无线信道模块将编码后的输入语句传输到自适应通用解码器。7.根据权利要求3所述的基于transformer的语义通信方法，其特征在于，所述步骤(5)具体包括以下子步骤：(5.1)将步骤(2)得到的目标语句的词嵌入向量输入多头自注意层进行解码；(5.2)将通过无线信道接收的编码信息和步骤(5.1)多头自注意层的输出信息输入多头注意层进行解码；(5.3)在目标语句通过多头自注意层与多头注意层之后通过循环解码模块中的前馈传输层，得到语义解码向量；(5.4)通过act模块检验语义解码向量是否解码充分，如果检测失败解码不充分，则将得到的语义解码向量作为输入，重复步骤(5.1)-(5.3)，直至满足检测条件；若解码充分，则进行概率逻辑回归，输出解码后的语句；(5.5)通过softmax函数进行概率逻辑回归，输出语句。

技术总结
本发明提出了一种基于Transformer的语义通信系统及方法，所述系统包括自适应通用编码器、无线信道模块和自适应通用解码器。所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接。本发明方法根据文本的语义进行编码，引入基于Universal Transformer的ACT算法用于检测编解码是否充分，将循环编解码机制引入语义通信中。本发明方法在低信噪比的情况下，能够提升文本传输的准确度。本发明方法对于不同的文本语义，可以应用不同的循环次数，相比现有的基于Transformer的语义通信系统，能够灵活调节，具有更好的效果。具有更好的效果。具有更好的效果。


技术研发人员：周清炀 李荣鹏 赵志峰 张宏纲
受保护的技术使用者：浙江大学
技术研发日：2021.11.23
技术公布日：2022/3/7