支持终端旋转平移的多幅度可见光信号成像通信解调方法

1.本方法属于可见光成像通信技术领域，具体涉及一种支持终端旋转平移的多幅度可见光信号成像通信解调方法。


背景技术：

2.近年来，得益于移动智能终端和led灯的普及，可见光成像通信技术(optical camera communications,occ)已逐渐成为可见光通信(visible light communications,vlc)领域的研究热点之一。与传统的vlc技术相比，occ不仅具备可见光通信所特有的频谱资源丰富、绿色节能和数据传输速率高等优势，还拥有更低的建设成本以及更高的普及率。
3.伴随光通信技术的不断发展，occ在发送端采用led灯作为光源来传输信息，在接收端使用智能手机终端的cmos摄像头作为光电传感器，以条纹图像的形式采集光源信息的通信方式已经在社会生产生活等众多领域得到了广泛应用。但是在实际通信过程中，对于接收端手持智能终端拍摄成像的场景仍存在很多限制，通常要求摄像头正对光源，一旦拍摄角度改变就会导致条带信息定位错误，甚至无法解调。此外，为了提高信息传输速率，led光源发送多幅度光信号，导致“开花效应”加剧，接收端的解调难度增加，且误码率升高。现有技术尚且无法完全解决这两类实际通信中难以忽略的干扰问题，亟需改进。


技术实现要素：

4.为了克服上述问题，本发明提供一种支持终端旋转平移的多幅度可见光信号成像通信解调方法，该方法考虑到卷帘曝光模式下可见光成像通信实际应用中拍摄角度的随机性，克服常规解调方案对于终端位置改变所导致的解调错误，甚至无法解调的局限性，解决多幅度光信号传输导致的“开花效应”加剧的问题；该方法简单高效、计算复杂度低，易于投入实际应用。
5.支持终端旋转平移的多幅度可见光信号成像通信解调方法，包括下述步骤：
6.步骤1：在发送端使用led条形灯作为光源，对原始码流进行manchester编码后，把编码后的码字与头部、尾部一起封装为数据包，每隔二十个数据包插入一段导频数据，全部码流经过pwm调制后得到占空比不同的多幅度信号，将信号送入放大电路，放大电路输出的高低电平控制led光源闪烁，传递可见光信号；
7.其中，所述步骤1中在发送端发送数据的过程中，每隔二十个数据包插入一次的导频数据，包括按顺序循环发送的码字“00”、“01”、“10”、“11”，分别代表“暗、较暗、较亮、亮”四种亮度状态信息，记为c＝0,1,2,3；
8.步骤2：在接收端使用cmos摄像头对led光源进行录像，然后对采集得到的视频逐帧提取，对各图像帧采用中心像素重组的方法，从整张图像中截取各条纹所在的感兴趣区域，重新拼接组成平直排列的条纹区域，然后对条纹区域的列像素取灰度值平均作为该图像帧的像素值特征；
9.步骤3：根据导频帧连通域规律性分布的特征，从各组连续的视频图像帧中捕捉导
频帧；
10.步骤4：对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析，得到区分条纹亮度状态的阈值，对导频帧以外的各图像帧进行阈值判决，获取各条纹的亮度状态信息；
11.步骤5：将阈值判决后得到的各条纹的亮度状态信息转化为相应的0、1码，解调出原始码流。
12.所述步骤2包括以下步骤：
13.步骤2.1：把cmos摄像头拍摄到的视频逐帧提取为图像帧，图像帧中led光源所在的区域遍布四种亮度状态的明暗条纹；
14.步骤2.2：将图像帧转换为灰度图，然后对灰度图做二值化处理成只存在黑白两种灰度状态的图像，图像中出现的每个亮条纹都是一个连通域，记为zi，利用连通域分析的方法把二值化图像中区别于暗条纹的其他三种亮条纹作为连通域无差别标注出来，同时测量图像中标注的各连通域的一系列属性，包括宽度、高度、左上顶点坐标以及中心点坐标；
15.步骤2.3：一帧图像提取到n个连通域，取第一个连通域的左上顶点坐标，记为a1(x1,y1)，最后一个连通域的左上顶点坐标、宽度，分别记为an(xn,yn)、wn，同时取各连通域zi的中心点横、纵坐标，分别记为提取二值化处理前的原灰度图处于[x1,xn+wn]宽度区间内，且位于每个高度区间内的像素区域，此区域即为整张图像的感兴趣区域roi，宽度区间内不存在连通域的区域由暗条纹填充，中心像素重组后得到的明暗条纹依然有序排列，即把终端旋转或平移运动状态下拍摄到的不规则条纹重组为平直排列的易于解调的条纹区域；
[0016]
步骤2.4：对各图像帧经过中心像素重组方法处理后得到的条纹区域，对每一列像素的灰度值取统计平均，列像素灰度值均值组成的数组作为该图像帧的像素值特征，记为v。
[0017]
所述步骤3包括以下步骤：
[0018]
步骤3.1：根据发送端每隔二十个数据包插入一段导频数据，接收端解调时以二十帧为一组捕捉导频帧，当最后一组图像不足二十帧时，则丢弃此组图像不予解调，取每张图像帧经过中心像素重组方法处理后得到的各连通域中心点横坐标将一帧图像中所有连通域的按顺序排为一个行数组s，数组s中元素代表各连通域在图像的横轴上的位置，数组长度为n，数组中第i个元素值为：
[0019]
步骤3.2：评估各图像帧连通域分布规律性，先对行数组s中的每两个数值求前后差分，得到新的差分数组s
′
，数组s
′
中元素代表相邻连通域在图像的横轴上的间隔，数组长度为n-1，数组中第i个元素值为：
[0020]s′
(i)＝s(i+1)-s(i)
[0021]
再计算差分数组s
′
的均值、方差，分别记为s、σ2，其具体计算公式如下：
[0022]
[0023][0024]
基于发送端传递导频数据时将四种信号依次循环发送，导频帧中包含规律排布的四种条纹信息，各连通域中心点在横轴上间距近似相同，而非导频帧的各连通域的间距分布不具有规律性，计算一组二十帧图像内各行数组差分后得到的数组s
′
的方差σ2，方差σ2最小值所在的图像帧即为这组图像的导频帧。
[0025]
所述步骤4包括以下步骤：
[0026]
步骤4.1：对导频帧规律排列的四种明暗条纹进行k-means聚类分析，首先在步骤2导频帧经过中心像素重组方法处理后得到的灰度均值数组v中随机选择四个元素值作为聚类质心，将剩余元素分配至与其值最相近的聚类质心，据此将数组v元素分为四组，然后计算四组元素的均值作为新的聚类质心，再根据新的聚类质心重新分配元素，得到新的分组，算法不断迭代，直到新的各组元素均值与旧的聚类质心相等，即k-means聚类分析算法收敛，通过该机器学习的过程得到四组元素，各组包含的灰度值元素分别符合条纹的0、1、2、3四类明暗状态，与发送端传递导频时循环发送的ci＝0,ci＝1,ci＝2,ci＝3四种亮度状态的光信号相对应，聚类分析得到的四个聚类质心即为导频帧规律排布的四种明暗条纹的标定灰度值，记为g1、g2、g3、g4；
[0027]
步骤4.2：区分条纹亮度状态的阈值根据下式确定：
[0028][0029]
式中，t1、t2、t3为划分四类条纹的阈值；
[0030]
步骤4.3：对各图像帧提取得到的条纹区域各列像素的灰度均值数组v中的每一个均值元素vi进行阈值判决，判决得到各条纹的亮度状态信息ci根据下式确定：
[0031][0032]
式中，ci为各列像素代表的灰度值状态，连续排列且相等的ci构成一类条纹；
[0033]
所述步骤5中条纹的亮度状态信息ci＝0,ci＝1,ci＝2,ci＝3，对应于调制过程，分别解调为码字“00”、“01”、“10”、“11”。
[0034]
与现有技术相比，本发明的有益效果：
[0035]
1、对于终端旋转或平移状态下拍摄得到的条纹都能进行正确的定位和解调处理，符合实际应用场景需求，克服常规解调方法对于拍摄角度的诸多局限性。
[0036]
2、将导频与机器学习相结合，利用导频自身的聚类分析提取多幅度光信号特征，使得系统可以在任意环境噪声中正确解调，削弱了由多幅度信号传输导致的比常规通信更加剧烈的“开花效应”，在保障通信质量的前提下，提高了occ系统的信息传输速率，有效降
低了计算复杂度，提高了系统的鲁棒性，获得了较低的误码率。
附图说明
[0037]
图1为本发明的可见光成像通信终端移动场景示意图。
[0038]
图2为本发明的中心像素重组方法示意图。
[0039]
图3a、图3b为场景中终端分别处于平移状态和旋转状态下拍摄得到的明暗条纹。
[0040]
图4a、图4b为不同对应位置下拍摄得到的导频条纹。
[0041]
图5为本发明的基于导频的多幅度可见光信号成像通信的解调过程示意图。
[0042]
图6为本发明对导频帧进行聚类分析得到区分四类明暗条纹的阈值的示意图。
[0043]
图7为本发明对图像帧的阈值判决示意图。
[0044]
图8为本发明的支持终端旋转平移的多幅度可见光信号成像通信过程逻辑流程图。
[0045]
图9为本发明的支持终端多角度旋转的多幅度可见光信号成像通信的误码率实验图。
具体实施方式
[0046]
为使本发明的发明技术方案、优点和目的更加清楚明确，下面将结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式及详细的操作过程，但本发明的保护范围不限于下述的实施例。
[0047]
实施例1
[0048]
支持终端旋转平移的多幅度可见光信号成像通信解调方法，包括下述步骤：
[0049]
步骤1：在发送端使用led条形灯作为光源，对原始码流进行manchester编码后，把编码后的码字与头部、尾部一起封装为数据包，每隔二十个数据包插入一段导频数据，全部码流经过pwm调制后得到占空比不同的多幅度信号，将信号送入放大电路，放大电路输出的高低电平控制led光源高速闪烁，传递可见光信号；
[0050]
其中，所述步骤1中在发送端发送数据的过程中，每隔二十个数据包插入一次的导频数据，在保障传输的可见光信号能够在任意环境噪声中正确解调的同时，对接收信号过程中的一段时间内接收端可能发生的旋转和平移所导致的信道增益变化进行判决，导频数据中包括按顺序循环发送的码字“00”、“01”、“10”、“11”，分别代表“暗、较暗、较亮、亮”四种亮度状态信息，记为c＝0,1,2,3；
[0051]
步骤2：在接收端使用cmos摄像头对led光源进行录像，然后对采集得到的视频逐帧提取，对各图像帧采用中心像素重组的方法，从整张图像中截取各条纹所在的感兴趣区域(region of interest，roi)，重新拼接组成平直排列的条纹区域，然后对条纹区域的列像素取灰度值平均作为该图像帧的像素值特征；
[0052]
步骤3：根据导频帧连通域规律性分布的特征，从各组连续的视频图像帧中捕捉导频帧；
[0053]
步骤4：对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析，利用该机器学习算法得到区分条纹亮度状态的阈值，对导频帧以外的各图像帧进行阈值判决，获取各条纹的亮度状态信息；
[0054]
步骤5：将阈值判决后得到的各条纹的亮度状态信息转化为相应的0、1码，解调出原始码流。
[0055]
所述步骤2包括以下步骤：
[0056]
步骤2.1：把cmos摄像头拍摄到的视频逐帧提取为图像帧，图像帧中led光源所在的区域遍布四种亮度状态的明暗条纹；
[0057]
步骤2.2：将图像帧转换为灰度图，然后对灰度图做二值化处理成只存在黑白两种灰度状态的图像，连通域为二值化图像中像素值相近、位置相邻、两两相通的像素点合集，即图像中出现的每个亮条纹都是一个连通域，记为zi，利用连通域分析的方法把二值化图像中区别于暗条纹的其他三种亮条纹作为连通域无差别标注出来，同时利用matlab中的regionprops函数，测量图像中标注的各连通域的一系列属性，包括宽度、高度、左上顶点坐标以及中心点坐标；
[0058]
步骤2.3：一帧图像提取到n个连通域，取第一个连通域的左上顶点坐标，记为a1(x1,y1)，最后一个连通域的左上顶点坐标、宽度，分别记为an(xn,yn)、wn，同时取各连通域zi的中心点横、纵坐标，分别记为提取二值化处理前的原灰度图处于[x1,xn+wn]宽度区间内，且位于每个高度区间内的像素区域，此区域即为整张图像的感兴趣区域roi，宽度区间内不存在连通域的区域由暗条纹填充，中心像素重组后得到的明暗条纹依然有序排列，即把终端旋转或平移运动状态下拍摄到的不规则条纹重组为平直排列的易于解调的条纹区域；
[0059]
步骤2.4：对各图像帧经过中心像素重组方法处理后得到的条纹区域，对每一列像素的灰度值取统计平均，列像素灰度值均值组成的数组作为该图像帧的像素值特征，记为v。
[0060]
所述步骤3包括以下步骤：
[0061]
步骤3.1：根据发送端每隔二十个数据包插入一段导频数据，接收端解调时以二十帧为一组捕捉导频帧，当最后一组图像不足二十帧时，则丢弃此组图像不予解调，取每张图像帧经过中心像素重组方法处理后得到的各连通域中心点横坐标将一帧图像中所有连通域的按顺序排为一个行数组s，数组s中元素代表各连通域在图像的横轴上的位置，数组长度为n，数组中第i个元素值为：
[0062]
步骤3.2：评估各图像帧连通域分布规律性，先对行数组s中的每两个数值求前后差分，得到新的差分数组s
′
，数组s
′
中元素代表相邻连通域在图像的横轴上的间隔，数组长度为n-1，数组中第i个元素值为：
[0063]s′
(i)＝s(i+1)-s(i)
[0064]
再计算差分数组s
′
的均值、方差，分别记为s、σ2，其具体计算公式如下：
[0065][0066][0067]
基于发送端传递导频数据时将四种信号依次循环发送，导频帧中包含规律排布的
四种条纹信息，各连通域中心点在横轴上间距近似相同，而非导频帧的各连通域的间距分布不具有规律性，计算一组二十帧图像内各行数组差分后得到的数组s
′
的方差σ2，方差σ2最小值所在的图像帧即为这组图像的导频帧。
[0068]
所述步骤4包括以下步骤：
[0069]
步骤4.1：对导频帧规律排列的四种明暗条纹进行k-means聚类分析，首先在步骤2导频帧经过中心像素重组方法处理后得到的灰度均值数组v中随机选择四个元素值作为聚类质心，将剩余元素分配至与其值最相近的聚类质心，据此将数组v元素分为四组，然后计算四组元素的均值作为新的聚类质心，再根据新的聚类质心重新分配元素，得到新的分组，算法不断迭代，直到新的各组元素均值与旧的聚类质心相等，即k-means聚类分析算法收敛，通过该机器学习的过程得到四组元素，各组包含的灰度值元素分别符合条纹的0、1、2、3四类明暗状态，与发送端传递导频时循环发送的ci＝0,ci＝1,ci＝2,ci＝3四种亮度状态的光信号相对应，聚类分析得到的四个聚类质心即为导频帧规律排布的四种明暗条纹的标定灰度值，记为g1、g2、g3、g4；
[0070]
步骤4.2：区分条纹亮度状态的阈值根据下式确定：
[0071][0072]
式中，t1、t2、t3为划分四类条纹的阈值；
[0073]
步骤4.3：对各图像帧提取得到的条纹区域各列像素的灰度均值数组v中的每一个均值元素vi进行阈值判决，判决得到各条纹的亮度状态信息ci根据下式确定：
[0074][0075]
式中，ci为各列像素代表的灰度值状态，连续排列且相等的ci构成一类条纹；
[0076]
所述步骤5中条纹的亮度状态信息ci＝0,ci＝1,ci＝2,ci＝3，对应于调制过程，分别解调为码字“00”、“01”、“10”、“11”。
[0077]
实施例2
[0078]
常见的可见光成像通信场景，包括发送端led光源和接收端智能手机cmos摄像头。用户在接收端利用智能手机拍摄高速闪烁的led光源，获取包含四种亮度状态的条纹图像。进一步的，由于用户拍摄角度的随机性，终端可能处于旋转或平移状态，捕捉到的条纹可能存在一定倾斜角度。
[0079]
本发明的条纹区域提取拼接方法可以同时适用于常规拍摄条纹以及终端旋转和平移状态下拍摄的条纹的定位提取。
[0080]
本发明的基于导频的多幅度可见光信号成像通信的解调算法包括捕捉导频帧和导频与机器学习结合的多幅度阈值判决两部分。
[0081]
如图1所示，常见的可见光成像通信场景，包括发送端led条形灯和接收端智能手机cmos摄像头。发送端控制led条形灯高速闪烁，传递多幅度信号，用户在接收端利用智能手机拍摄led条形灯，获取包含四种亮度状态的条纹图像，对条纹图像经过处理得到原始m码流信息。进一步的，由于用户拍摄角度和位置的随机性，相对于正对led条形灯的拍摄方式，终端可能处于旋转或平移状态，捕捉到的条纹并非平直排列，可能存在一定倾斜角度。
[0082]
图2为本发明的中心像素重组方法示意图，可以同时适用于常规拍摄条纹以及如图1所示的终端处于旋转和平移状态下拍摄的不规则条纹的定位提取。
[0083]
如图3a、3b所示，终端处于平移状态和旋转状态下分别拍摄得到的条纹图像迥然各异，对应于这两种状态拍摄得到的导频图像如图4a、4b所示。
[0084]
图5为本发明的基于导频的多幅度可见光信号成像通信的解调过程示意图。
[0085]
如图6所示，对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析得到区分条纹亮度状态的阈值。
[0086]
如图7所示，利用导频帧得到的阈值对各图像帧进行阈值判决，获取各条纹的亮度状态信息。
[0087]
图8为本发明的支持终端旋转平移的多幅度可见光信号成像通信过程逻辑流程图，其步骤包括：
[0088]
步骤1：在发送端使用led条形灯作为光源，对原始码流进行manchester编码后，把编码后的码字与头部、尾部一起封装为数据包，每隔二十个数据包插入一段导频数据，全部码流经过pwm调制后得到占空比不同的多幅度信号，将信号送入放大电路，放大电路输出的高低电平控制led光源闪烁，传递可见光信号；
[0089]
其中，所述步骤1中在发送端发送数据的过程中，每隔二十个数据包插入一次的导频数据，包括按顺序循环发送的码字“00”、“01”、“10”、“11”，分别代表“暗、较暗、较亮、亮”四种亮度状态信息，记为c＝0,1,2,3；
[0090]
步骤2：在接收端使用cmos摄像头对led光源进行录像，然后对采集得到的视频逐帧提取，对各图像帧采用中心像素重组的方法，从整张图像中截取各条纹所在的感兴趣区域，重新拼接组成平直排列的条纹区域，然后对条纹区域的列像素取灰度值平均作为该图像帧的像素值特征；
[0091]
步骤3：根据导频帧连通域规律性分布的特征，从各组连续的视频图像帧中捕捉导频帧；
[0092]
步骤4：对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析，得到区分条纹亮度状态的阈值，对导频帧以外的各图像帧进行阈值判决，获取各条纹的亮度状态信息；
[0093]
步骤5：将阈值判决后得到的各条纹的亮度状态信息转化为相应的0、1码，解调出原始码流。
[0094]
所述步骤2包括以下步骤：
[0095]
步骤2.1：把cmos摄像头拍摄到的视频逐帧提取为图像帧，图像帧中led光源所在的区域遍布四种亮度状态的明暗条纹；
[0096]
步骤2.2：将图像帧转换为灰度图，然后对灰度图做二值化处理成只存在黑白两种灰度状态的图像，图像中出现的每个亮条纹都是一个连通域，记为zi，利用连通域分析的方
法把二值化图像中区别于暗条纹的其他三种亮条纹作为连通域无差别标注出来，同时测量图像中标注的各连通域的一系列属性，包括宽度、高度、左上顶点坐标以及中心点坐标；
[0097]
步骤2.3：一帧图像提取到n个连通域，取第一个连通域的左上顶点坐标，记为a1(x1,y1)，最后一个连通域的左上顶点坐标、宽度，分别记为an(xn,yn)、wn，同时取各连通域zi的中心点横、纵坐标，分别记为提取二值化处理前的原灰度图处于[x1,xn+wn]宽度区间内，且位于每个高度区间内的像素区域，此区域即为整张图像的感兴趣区域roi，宽度区间内不存在连通域的区域由暗条纹填充，中心像素重组后得到的明暗条纹依然有序排列，即把终端旋转或平移运动状态下拍摄到的不规则条纹重组为平直排列的易于解调的条纹区域；
[0098]
步骤2.4：对各图像帧经过中心像素重组方法处理后得到的条纹区域，对每一列像素的灰度值取统计平均，列像素灰度值均值组成的数组作为该图像帧的像素值特征，记为v。
[0099]
所述步骤3包括以下步骤：
[0100]
步骤3.1：根据发送端每隔二十个数据包插入一段导频数据，接收端解调时以二十帧为一组捕捉导频帧，当最后一组图像不足二十帧时，则丢弃此组图像不予解调，取每张图像帧经过中心像素重组方法处理后得到的各连通域中心点横坐标将一帧图像中所有连通域的按顺序排为一个行数组s，数组s中元素代表各连通域在图像的横轴上的位置，数组长度为n，数组中第i个元素值为：
[0101]
步骤3.2：评估各图像帧连通域分布规律性，先对行数组s中的每两个数值求前后差分，得到新的差分数组s
′
，数组s
′
中元素代表相邻连通域在图像的横轴上的间隔，数组长度为n-1，数组中第i个元素值为：
[0102]s′
(i)＝s(i+1)-s(i)
[0103]
再计算差分数组s
′
的均值、方差，分别记为s、σ2，其具体计算公式如下：
[0104][0105][0106]
基于发送端传递导频数据时将四种信号依次循环发送，导频帧中包含规律排布的四种条纹信息，各连通域中心点在横轴上间距近似相同，而非导频帧的各连通域的间距分布不具有规律性，计算一组二十帧图像内各行数组差分后得到的数组s
′
的方差σ2，方差σ2最小值所在的图像帧即为这组图像的导频帧。
[0107]
所述步骤4包括以下步骤：
[0108]
步骤4.1：对导频帧规律排列的四种明暗条纹进行k-means聚类分析，首先在步骤2导频帧经过中心像素重组方法处理后得到的灰度均值数组v中随机选择四个元素值作为聚类质心，将剩余元素分配至与其值最相近的聚类质心，据此将数组v元素分为四组，然后计算四组元素的均值作为新的聚类质心，再根据新的聚类质心重新分配元素，得到新的分组，算法不断迭代，直到新的各组元素均值与旧的聚类质心相等，即k-means聚类分析算法收
敛，通过该机器学习的过程得到四组元素，各组包含的灰度值元素分别符合条纹的0、1、2、3四类明暗状态，与发送端传递导频时循环发送的ci＝0,ci＝1,ci＝2,ci＝3四种亮度状态的光信号相对应，聚类分析得到的四个聚类质心即为导频帧规律排布的四种明暗条纹的标定灰度值，记为g1、g2、g3、g4；
[0109]
步骤4.2：区分条纹亮度状态的阈值根据下式确定：
[0110][0111]
式中，t1、t2、t3为划分四类条纹的阈值(如图6所示)；
[0112]
步骤4.3：对各图像帧提取得到的条纹区域各列像素的灰度均值数组v中的每一个均值元素vi进行阈值判决，判决得到各条纹的亮度状态信息ci根据下式确定：
[0113][0114]
式中，ci为各列像素代表的灰度值状态，连续排列且相等的ci构成一类条纹；
[0115]
所述步骤5中条纹的亮度状态信息ci＝0,ci＝1,ci＝2,ci＝3(如图7所示)，对应于调制过程，分别解调为码字“00”、“01”、“10”、“11”。
[0116]
图9为本发明的支持终端多角度旋转的多幅度可见光信号成像通信的误码率实验图，分别测试了终端旋转角度为-60
°
、-30
°
、0
°
、30
°
、60
°
时的通信误码率。由实验结果可知，当终端处于正对光源状态时，误码率最低，终端旋转角度越大，误码率越高，但仍处于可保障正常通信的范围内。
[0117]
本方法在发送端使用led条形灯作为光源，对原始码流进行manchester编码后，把编码后的码字与头部、尾部一起封装为数据包，每隔二十个数据包插入一段导频数据，全部码流经过pwm调制后得到占空比不同的多幅度信号，将信号送入放大电路，放大电路输出的高低电平控制led光源高速闪烁，传递可见光信号，在接收端使用cmos摄像头对led光源进行录像，然后对采集得到的视频逐帧提取，对各图像帧采用中心像素重组的方法，从整张图像中截取各条纹所在的roi，重新拼接组成平直排列的条纹区域，然后对条纹区域的列像素取灰度值平均作为该图像帧的像素值特征，根据导频帧连通域规律性分布的特征，从各组连续的视频图像帧中捕捉导频帧，对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析，利用该机器学习算法得到区分条纹亮度状态的阈值，对导频帧以外的各图像帧进行阈值判决，获取各条纹的亮度状态信息，将阈值判决后得到的各条纹的亮度状态信息转化为相应的0、1码，解调出原始码流。
[0118]
本方法考虑到实际应用场景需求，克服了常规解调方法对于拍摄角度的诸多局限性，适用于常规拍摄以及终端旋转和平移状态下的可见光成像通信，在发送端发送多幅度光信号，提高信息传输速率的同时，在接收端把机器学习与通信导频结合在一起，使得传输
的可见光信号能够在任意环境噪声中正确解调，有效地削弱了“开花效应”对通信的干扰，保障了通信系统的稳定性，算法降低了系统计算复杂度，易于投入实际应用。

技术特征：
1.支持终端旋转平移的多幅度可见光信号成像通信解调方法，其特征在于包括下述步骤：步骤1：在发送端使用led条形灯作为光源，对原始码流进行manchester编码后，把编码后的码字与头部、尾部一起封装为数据包，每隔二十个数据包插入一段导频数据，全部码流经过pwm调制后得到占空比不同的多幅度信号，将信号送入放大电路，放大电路输出的高低电平控制led光源高速闪烁，传递可见光信号；其中，所述步骤1中在发送端发送数据的过程中，每隔二十个数据包插入一次的导频数据，包括按顺序循环发送的码字“00”、“01”、“10”、“11”，分别代表“暗、较暗、较亮、亮”四种亮度状态信息，记为c＝0,1,2,3；步骤2：在接收端使用cmos摄像头对led光源进行录像，然后对采集得到的视频逐帧提取，对各图像帧采用中心像素重组的方法，从整张图像中截取各条纹所在的感兴趣区域，重新拼接组成平直排列的条纹区域，然后对条纹区域的列像素取灰度值平均作为该图像帧的像素值特征；步骤3：根据导频帧连通域规律性分布的特征，从各组连续的视频图像帧中捕捉导频帧；步骤4：对导频帧条纹区域中循环排列的四种明暗条纹灰度值进行聚类分析，得到区分条纹亮度状态的阈值，对导频帧以外的各图像帧进行阈值判决，获取各条纹的亮度状态信息；步骤5：将阈值判决后得到的各条纹的亮度状态信息转化为相应的0、1码，解调出原始码流。2.根据权利要求1所述的支持终端旋转平移的多幅度可见光信号成像通信解调方法，其特征在于所述步骤2包括以下步骤：步骤2.1：把cmos摄像头拍摄到的视频逐帧提取为图像帧，图像帧中led 光源所在的区域遍布四种亮度状态的明暗条纹；步骤2.2：将图像帧转换为灰度图，然后对灰度图做二值化处理成只存在黑白两种灰度状态的图像，图像中出现的每个亮条纹都是一个连通域，记为z
i
，利用连通域分析的方法把二值化图像中区别于暗条纹的其他三种亮条纹作为连通域无差别标注出来，同时测量图像中标注的各连通域的一系列属性，包括宽度、高度、左上顶点坐标以及中心点坐标；步骤2.3：一帧图像提取到n个连通域，取第一个连通域的左上顶点坐标，记为a1(x1,y1)，最后一个连通域的左上顶点坐标、宽度，分别记为a
n
(x
n
,y
n
)、w
n
，同时取各连通域z
i
的中心点横、纵坐标，分别记为提取二值化处理前的原灰度图处于[x1,x
n
+w
n
]宽度区间内，且位于每个高度区间内的像素区域，此区域即为整张图像的感兴趣区域roi，宽度区间内不存在连通域的区域由暗条纹填充，中心像素重组后得到的明暗条纹依然有序排列，即把终端旋转或平移运动状态下拍摄到的不规则条纹重组为平直排列的易于解调的条纹区域；步骤2.4：对各图像帧经过中心像素重组方法处理后得到的条纹区域，对每一列像素的灰度值取统计平均，列像素灰度值均值组成的数组作为该图像帧的像素值特征，记为v。3.根据权利要求2所述的支持终端旋转平移的多幅度可见光信号成像通信解调方法，
其特征在于所述步骤3包括以下步骤：步骤3.1：根据发送端每隔二十个数据包插入一段导频数据，接收端解调时以二十帧为一组捕捉导频帧，当最后一组图像不足二十帧时，则丢弃此组图像不予解调，取每张图像帧经过中心像素重组方法处理后得到的各连通域中心点横坐标将一帧图像中所有连通域的按顺序排为一个行数组s，数组s中元素代表各连通域在图像的横轴上的位置，数组长度为n，数组中第i个元素值为：步骤3.2：评估各图像帧连通域分布规律性，先对行数组s中的每两个数值求前后差分，得到新的差分数组s
′
，数组s
′
中元素代表相邻连通域在图像的横轴上的间隔，数组长度为n-1，数组中第i个元素值为：s
′
(i)＝s(i+1)-s(i)再计算差分数组s
′
的均值、方差，分别记为s、σ2，其具体计算公式如下：，其具体计算公式如下：基于发送端传递导频数据时将四种信号依次循环发送，导频帧中包含规律排布的四种条纹信息，各连通域中心点在横轴上间距近似相同，而非导频帧的各连通域的间距分布不具有规律性，计算一组二十帧图像内各行数组差分后得到的数组s
′
的方差σ2，方差σ2最小值所在的图像帧即为这组图像的导频帧。4.根据权利要求3所述的支持终端旋转平移的多幅度可见光信号成像通信解调方法，其特征在于所述步骤4包括以下步骤：步骤4.1：对导频帧规律排列的四种明暗条纹进行k-means聚类分析，首先在步骤2导频帧经过中心像素重组方法处理后得到的灰度均值数组v中随机选择四个元素值作为聚类质心，将剩余元素分配至与其值最相近的聚类质心，据此将数组v元素分为四组，然后计算四组元素的均值作为新的聚类质心，再根据新的聚类质心重新分配元素，得到新的分组，算法不断迭代，直到新的各组元素均值与旧的聚类质心相等，即k-means聚类分析算法收敛，通过该机器学习的过程得到四组元素，各组包含的灰度值元素分别符合条纹的0、1、2、3四类明暗状态，与发送端传递导频时循环发送的c
i
＝0,c
i
＝1,c
i
＝2,c
i
＝3四种亮度状态的光信号相对应，聚类分析得到的四个聚类质心即为导频帧规律排布的四种明暗条纹的标定灰度值，记为g1、g2、g3、g4；步骤4.2：区分条纹亮度状态的阈值根据下式确定：式中，t1、t2、t3为划分四类条纹的阈值；
步骤4.3：对各图像帧提取得到的条纹区域各列像素的灰度均值数组v中的每一个均值元素v
i
进行阈值判决，判决得到各条纹的亮度状态信息c
i
根据下式确定：式中，c
i
为各列像素代表的灰度值状态，连续排列且相等的c
i
构成一类条纹。5.根据权利要求4所述的支持终端旋转平移的多幅度可见光信号成像通信解调方法，其特征在于所述步骤5中条纹的亮度状态信息c
i
＝0,c
i
＝1,c
i
＝2,c
i
＝3，对应于调制过程，分别解调为码字00、01、10、11。

技术总结
本方法属于可见光成像通信技术领域，具体涉及一种支持终端旋转平移的多幅度可见光信号成像通信解调方法；在发送端使用LED条形灯作为光源，对原始码流编码后插入导频数据，码流经过调制送入放大电路，输出高低电平控制LED光源闪烁，在接收端对视频逐帧提取，截取各条纹所在RoI，重新拼接组成条纹区域，然后捕捉导频帧，对导频帧条纹区域中四种明暗条纹灰度值聚类分析，对图像帧进行阈值判决，判决后得到的各条纹亮度状态信息转化为0、1码，解调出原始码流；本方法克服常规解调方案对于终端位置改变所导致的解调错误，甚至无法解调的局限性，解决多幅度光信号传输导致的“开花效应”加剧的问题；该方法简单高效、计算复杂度低，易于投入实际应用。投入实际应用。投入实际应用。


技术研发人员：迟学芬 陈少琦 籍风磊 姜科宇 武敬 李帅 胡高阳
受保护的技术使用者：吉林大学
技术研发日：2022.01.07
技术公布日：2022/3/8