李娜多媒体网络通信技术

2.4系统结构图

2.4.1硬件结构系统

该系统采用的是Client/Client结构，客户端是两台PC机和一个数字摄像头、耳机和麦克风。进行语音视频聊天是客户端与客户端之间直接进行的点对点的连接，它们之间的网络拓扑结构如图1。在图中，为了简便，没有画出麦克风、音箱或耳机等外部设备。

图1 网络拓扑结构图

2.4.2系统功能模块图

语音视频聊天是对整个在线客户端两两之间进行点对点的视频聊天。语音视频聊天包括了视频捕获、视频压缩、解压缩、语音录制、语音回放以及视频传输等。整个系统的功能模块图如图2所示。

图2 系统功能模块图

2.4.3系统各模块流程图

语音视频聊天流程图如下图3所示。在有两个客户在线的情况下，才能进行语音视频聊天。两个用户要进行语音视频聊天时，一个用户选中另一个用户的用户名，根据该用户名在后台链表中的对应IP地址查找用户并请求视频连接。当双方确认视频连接后就进行视频传输，并显示在客户端，同时用线程实现语音录制和回放。这样，两个用户就实现了点对点的语音视频聊天。在进行语音视频聊天的过程中，不能再与其它用户进行语音视频聊天，但能够与其它用户进行文字聊天。

图3 语音视频聊天流程图

2.5数据流

在发送端和接收端各开一个视频缓冲区，暂存待发送和已接收的数据帧。由于无线传输带宽和单片机软硬件资源的限制，压缩后的JPG 图像(320 ×240)仍然必须在发送端分割成若干帧，到达接受端时重组。在LINUX 中，JPG 图像就相当于一个普通文件，可通过open () 函数打开进行读写。

2.5.1数据帧结构

对每帧加上帧头结构,帧头结构定义了序列号,视频压缩格式,时戳。序列号是数据包发送的顺序标记,检测传输中是否有数据丢失,并用在接收端来重新排序。视频压缩格式标记用于接收端采用相应的解码流程。时间戳控制视频回放的时间。帧结构描述如图4所示。

图4 数据帧结构

图像在传输过程中还涉及到缓冲区、流量控制、确认技术及超时处理等问题。 （1）缓冲区。由于发送端存在重发数据帧的可能，接收端有可能收到乱序的数据帧，故发送端和接收端确定一个视频传输缓冲区，大小为65 536 (可根据要传送的图像大小适当调整) 字节。发送端首先把一幅jpg 图像数据一次性写入缓冲区，将其分解为若干数据帧，各帧按照序号递增的顺序从1 依次编号，使得每一帧的大小不超过2 048 字节，称为一个数据帧。接收端收到完整的一幅JPG 图像数据后再一次性写入图像文件中。 （2）流量控制。UDP借鉴TCP 协议流量控制机制：慢启动和线性增长成倍减少过程。在连接建立后的慢启动过程中，先将发送方窗口置为最小值，每当成功传送完窗口中的数据后，就成倍地增大窗口，直到某个阈值。这就保证了网络流量不会突然增大，为其他连接留有余地。

（3）确认技术。在可靠数据传递协议中保证数据可靠传递的基本就是要使用确认技术。为了更好地控制流量，达到最大限度地利用网络资源的目的,可采用捎带确认、累计确认和超时确认以及扩展确认这几种方式结合来实现确认。其中前3 种确认方式和TCP 中的用法一致。在接收方收到失序数据包时，为了最大限度地减少重传，并不是简单将其丢弃，而是将其存储在本地的失序缓冲队列中，并设置失序包计数器。接收方在计数器超过阈值或者确认定时器超时后向发送方发送扩展确认数据包。该数据包中携带本端已经收到的最大按序包序号和收到的所有失序包的序号信息。发送端收到由接收端传来的扩展确认数据包后，将根据最大确认序号和对端收到的失序包的序号计算出应该重传的数据包序号,并从重传队列中取出相应的数据包进行快速重传。

（4）超时处理。处理超时和重传的方法之一就是发送一个请求后等待n 秒,如果没有收到应答,则重传并再等待另外N 秒。这是一种线性重传的定时器,并且在重传一定次数后就放弃重传。这种办法的问题是,数据报在一个互联网上往返的时间( RTT) 会从LAN 上的远远小到1 s 变成WAN 上的许多秒。影响往返时间(RTT) 的因素是距离、网络速度和拥塞,当网络条件变化时,客户和服务器之间的RTT 会随着时间很快地变化。因此,必须设计一个将实际测得的RTT 以及RTT 随时间变化考虑在内的超时和重传算法。计算发送每个数据报的重传超时( RTO) 的公式为： delta = RTT - srt t srt t ←srtt + g ×delta

rt tvar ←rt tvar + h ×(| delta| - rt tvar) RTO = srtt + 4 ×rt tvar

其中，RTT 为数据报的实际往返时间； srtt 为平滑了的RTT 估计因子；rttvar 为平滑了的平均偏差估计因子；delta 为测得的RTT 和当前平滑了的RTT 估计因子(srtt) 之间的差；g 为施加在RTT 估计因子上的增益因子，值为1/ 8； h 为施加在平均偏差估计因子上的增益因子，值为1/ 4。当重传定时器超时的时候，对下一个RTO要用一个指数退回。例如，如果RTO 是2 s ，这段时间内应答没有收到，则下一个RTO 是4 s ；如果仍没有收到，下一个RT0 是8 s ，接着是16 s ，依此类推。

2.5.2视频图像数据传输过程

以一幅图像传送为例。如一幅图像共可拆分打包成n 个数据帧。某次发送编号为i ，j ， k ， m 共4 帧( i < j < k < m) ， 接收方成功收到i ， m 两帧。接收方将已收到的所有帧序号打包成确认帧发送出去,而不只是仅打包本次收到的i ， m 两帧。发送方收到确认帧后,依据确认帧里各帧序号将表明接收方是否成功收到数据帧的数组相应位置1 。此时发送方依据流量控制原理选取序号大于m 的帧发送,而不是发送上次的序号为j， k 的帧。当帧号等于n 时再从帧号1 开始依据序号递增的方法选取还未收到确认帧的各帧。实验表明，这样大大减少了数据帧和确认帧的重发。因为发送方未收到确认帧并不表明确认帧由于受到线路噪声干扰或路由器缓冲区已满而被抛弃，也有可能还在寻找路由。TCP 的顺序传送以帧为单位，而本文方法却是以一幅图像为单位。发送流程如图5所示，接收流程如图6所示。