视频分析技术的研究和应用

视频分析

图形图像

视频分析技术的研究和应用＊

徐向丽

，

陈岳林

，

韦必忠

（桂林电子科技大学机械与交通工程系，桂林５４１００４）

摘

要：通过对视频分析关键技术的探讨及国内外研究小组科研成果的分析，揭示了视频编码

技术、视频对象分割技术、基于内容检索技术、流媒体传输技术之间的内在联系以及各自的技术要点、难点。通过介绍视频分析技术在视频监控中的应用，展望了该技术在多个领域的广阔的应用前景。

关键词：视频分析；视频编码；基于内容的视频检索；视频分割；流媒体传输

０引言

近年来随着多媒体和电子通信技术的飞速发展，

１视频分析关键技术的研究

视频编码技术是数字信息存储、播放、传输等环

１．１视频编码技术

节的前提和基础，数字视频编码标准是信息领域的基础性标准。随着计算机技术日新月异的发展变化和网络带宽的不断拓展，对视频的不断研究推动了视频编码技术的发展，如表１所示。

表１视频编码技术的发展

视频、图像、计算机视觉、多媒体数据库和计算机网络技术日益融合，视频分析技术得到了人们极大的重新视，取得了长足的进展，出现了许多相关的新概念、算法、新标准、新协议、新技术和新理论，并在科学研究、工业生产、医疗卫生、教育、娱乐和通信等方面得改善人们生活水到了广泛的应用，对推动社会发展、

平都起到了重要的作用。被专家列为建设信息高速公路的五大构件之一的可视通信技术，其核心内容就是视频分析技术。

本文着重讨论了当前视频分析技术的几大研究视频对象分割、基于内容的视频热点：视频编码技术、

检索、视频流传输等关键技术，并且重点论述了应用于智能视频监控系统的视频分析技术———动态视频运动目标检测技术。如图１所示。

由表中可以看到，从需要足够硬件支持才可用于实时视频压缩的ＪＰＥＧ，发展到以ＭＰＥＧ－４和Ｈ．２６４／

ＡＶＣ为主体的第二代的视频编码标准，经历了漫长的过程。

ＭＰＥＧ－４不只是具体压缩算法，它是针对数字电

现代计算机（总第二八七期）

视、交互式绘图应用、交互式多媒体等整合及压缩技术的需求而制定的国际标准。ＭＰＥＧ－４标准具有基于内容的交互性、高效的压缩性、互联网视音频广播等广泛应用性等众多独特的优点。

图１视频分析技术研究热点

ＭＰＥＧ系列标准多为数字电视采用，而Ｈ．２６ｘ系列标准主要针对多媒体通信而制定。Ｈ．２６４具有更高的数据压缩比，在同等的图像质量条件下，Ｈ．２６４的

＊基金项目：国家自然科学基金资助项目（Ｎｏ．５０３６５００３）

收稿日期：２００８－０４－２２

修稿日期：２００８－０７－０７

视频流传输作者简介：徐向丽（１９８２－），男，河南南阳人，硕士研究生，研究方向为图像处理、

ＲＮＣＯＭＰＵＴＥＲ２００８．７

视频分析

图形图像

数据压缩比高出ＭＰＥＧ－２约２－３倍，比ＭＰＥＧ－４高１．５－２倍。因此，经过Ｈ．２６４压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

杂的区域融合。同时，迭代过程使得对象边缘像素的梯度与前景、背景中平坦区域内部像素的梯度更易区分，利用基于最大类间方差的阈值算法自动获得的判别阈值，通过非线性变换进一步消除局部梯度极值造成的分割小区域，从而消除视频对象的“背景毛刺”。这种算法的难点在于选取合适的阈值，在一定的准则下较好的区分出前景和背景。图３是该算法框图。

ＡＶＳ标准是我国于２００２年开始制定的、第一个具有自主知识产权、达到国际先进水平的数字音视频编解码标准，是高清晰度数字电视、高清晰度激光视盘机、网络电视、视频通信等重大音视频应用所共同采用的基础性标准。

视频编码技术完成了针对图像帧层面的处理，以便更好的存储、播放和传输。随着多媒体技术的发展，人们对多媒体信息的需求也从简单的播放要求转向基于内容的访问、检索和操作，传统的视频分割的做法都是基于帧的分割，因此基于对象视频分割的研究显得极为重要。

１．２视频对象分割

视频分割是指对图像或视频序列按一定的标准分割成区域，以便定义图像或是视频序列中有一定意义的相对独立的空间或时间集合，并有效组织属于这些集合的元素。

文献［１］是基于像素域的分割方案，最后可以得到比较精确的结果。但是由于大量的视频序列存在于压缩域中，处理视频序列需要繁杂的计算用于解码，因此会耗费很多时间。随着视频编码标准的不断发展，出现了一些基于压缩域的视频处理方法［２，３］。文献［２］是压缩域中的视频检索和恢复技术，但这仍然是在帧的级别上进行的。文献［３］提出了一种压缩域运动对象的分割系统，但它只能应用于静止的背景。

文献［４］针对目前大部分分割算法相对复杂而且计算量大的问题，提出了一种基于运动一致性的视频对象分割方法。该方法从ＭＰＥＧ压缩码流中提取运动矢量场来分割视频对象，首先对运动矢量场进行滤波和校正，然后进行全局运动补偿得到对象的绝对运动矢量场，最后采用Ｋ－ｍｅａｎｓ聚类算法对运动矢量场进行聚类分析从而分割出感兴趣的视频运动对象。该方法难点在于运动矢量场的处理，因为码流中的运动矢量有噪声、不可靠，直接用于运动分割容易产生错误。图２是该系统框图。

图３算法框图

由于现实世界中场景的复杂性和多样性，难以找到统一的方法来完成所有的视频对象分割，并且目前很难通过低层次的视觉分割来提取高层次的语义视频对象，因此视频对象分割是视频处理的一个难点。立足于算法的复杂性和实时性，结合人工智能、图像处理等多学科优势，才能更好地解决视频分割问题，为基于内容的视频检索、访问、操作与控制等技术打下基础。

２．３基于内容的视频检索

基于内容的视频检索是指根据描述的视频对象的内容进行编索引，在视频数据库中进行各种特征检索，找到具有指定特征内容的视频数据，以便实现用于各种目的的视频图像检索。通常，原始视频可以按照由粗到细的顺序划分为４个层次结构：视频、场景、

镜头和图像帧，视频和图像帧是视频本身就具有的结构，而镜头和场景是人为分离出来的结构。通过视频解析技术提取出镜头和场景，然后用一帧或几帧来表示它们，这样当检索需要视频资料时，通过关键帧的

图２基于运动一致性视频对象分割方法系统框图

非线性浏览快速定位查询的内容。

文献［６］采用相似性测量的思想，提出以镜头为基础来度量片段的相似性，并提出视觉和粒度是决定两个片段是否相似的最重要因素。通过利用视觉和粒度找出视觉上所有相似的片段，然后根据视觉、粒度、时

现

代计算机（总第二八七期）

文献［５］提出一种新颖的空间分水岭分割策略，该策略中结构元素逐渐变大的形态学开闭重建迭代使得分水岭分割所获区域数大大减少，有效地避免了复

ＲＮＲ２００８．７

"!

视频分析

图形图像

间顺序和干扰因子分别计算相似片段的相似度，最后按照相似度大小从高到低进行排列。这一思路的好处在于可以更好地度量粒度、时间顺序和干扰因子对片段相似度的影响，不易造成相似片段的遗漏，并且可以提高检索的速度。

动、动物的活动甚至室外树枝的摇曳都将触发相同的报警。智能化视频分析技术的应用，使得视频监控系统的质量、功能和实用性有了飞速的发展。

２．４流媒体传输

流媒体是指在网络中使用流式传输技术的连续时基媒体，例如音频、视频或多媒体文件。流式传输技术把连续的声音和图像信息经过压缩处理后放到网站服务器上，用户一边下载即可一边收听观看。在

Ｉｎｔｅｒｎｅｔ上有效高质量的传输视频流，需要多种技术支持，其中主要包括视频压缩和编码技术、ＱｏＳ控制技术、视频流传输采用的协议。

文献［７］设计了一个基于ＭＰＥＧ－４编码标准的流媒体传输系统，总体上包括编码器模块、发送控制模块、接受控制模块、显示模块以及信道。发送控制模块应用ＳＯＲＴ码率控制算法、缓冲池控制算法，可以基本实现在无线网络下的视频流传输，系统的难点在于视频质量与带宽变化之间的相互平衡。文献［８］设计了一种基于ＲＴＰ的Ｈ．２６４实时流媒体传输系统模型，采用非交错模式和交错模式结合的混合模式组包算法，对视频流按照解码出来的顺序进行组包，在保证视觉质量的前提下仍然可以适应丢包率较大的网络状况。应用层ＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）控制技术可以在出现丢包和可用带宽变化的情况下，最大限度地提高视频质量。

在流式传输的实现方案中，一般采用ＨＴＴＰ／ＴＣＰ传输控制信息，Ｗｅｂ浏览器与Ｗｅｂ服务器之间交换控制信息，把需要传输的实时数据从原始信息检索出来。ＲＴＰ／ＵＤＰ传输实时视音频数据，将音／视频数据传输给音／视频客户端程序。负责流媒体传输的协议主要有作为基础协议的ＴＣＰ／ＩＰ，以及ＲＴＰ／ＲＴＣＰ、ＲＴＳＰ、

图４流媒体传输控制协议栈

动态视频运动目标检测技术是智能化视频分析的基础，应用于系统中可以快速准确地找到“事件”发生的地点。目前检测运动目标的方法主要有背景减除、时间差分和光流法。

（１）背景减除（ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎ）

背景减除方法是目前运动检测中最常用的一种方法，它利用当前图像与背景图像的差分来检测出运动区域。背景建模是背景减除方法的技术关键，即从一系列视频图像中准确找到属于背景的部分，并且存储为背景图像。最简单的背景模型是时间平均图像，但是模型的通用性比较差，对场景内图像发生的变化比较敏感，例如阳光照射方向、影子、树叶随风摇曳等。

文献［１０］提出一种建立在对视频序列中的整个背景情景的统计描述基础上的运动目标的检测方法。采用自适应模型，使模型的参数随着场景情况的变化而变化。文中利用视频序列的当前背景和当前帧的加权平均值来更新背景。选取当前帧作为参考图像，用当前帧和背景图像做差分，如果当前帧中没有运动目标，就用当前帧图像直接对背景模板进行更新，以适应光线的变化；如果当前帧中含有运动目标，就维持目前的背景。这一方法能够适应快速的场景变化，实时性很高。但是难点在于准确率的保证，前景目标如果运动缓慢，就很可能造成很大的误差。

（２）时间差分（ＴｅｍｐｏｒａｌＤｉｆｆｅｒｅｎｃｅ）

时间差分方法充分利用视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。此方法计算简单，能快速有效地从图像序列中检测出运动目标区域，而且对于动态环境有很强的自适应性；但是，一般不能完全提取出相关的特征像素点，而且在运动实体内部容易产生“空洞”现象，即当原来在背景中的某物发生移动，则差分之后不仅产生了物体当前所在的区域，而且在物体原来停留的区域留下了空洞。

现

代计算机（总第二八七期）

ＲＳＶＰ［９］。

ＲＴＰ为实时传输协议，通过ＵＤＰ协议传输；ＲＴＣＰ为实时传输控制协议，可以通过ＴＣＰ协议传输，也可以通过ＵＤＰ协议传输，ＲＴＣＰ控制协议需要与ＲＴＰ协议一起配合使用，启用一个ＲＴＰ会话时同时占用两个端口；ＲＴＳＰ实时流协议，也通过ＵＤＰ来传输，建立并控制一个或几个时间同步的连续视频音频的连接；ＲＳＶＰ资源预留协议，用来提高网络传输的

ＱｏＳ性能。各协议的关系如图４所示。

３应用于视频监控系统的分析技术

早期的视频监控系统初具报警功能，但是对侦测

到的移动事件无法判断其对象和性质，无论是人的活

ＲＮＣＯＭＰＵＴＥＲ２００８．７

视频分析

图形图像

（３）光流法（ＯｐｔｉｃａｌＦｌｏｗ）

光流是图像亮度的运动信息描述。基于图像中相邻点的亮度是相似的这一前提下，光流法将三维空间的图像表面亮度点的速率信息映射为近似的二维运动场来进行计算。在目标检测过程中，基于光流方法的运动检测应用运动目标随时间变化的流矢量特性在图像序列中检测运动区域。其优点是可以应用于运动的摄像机，但是，这种方法中光流场的大多数计算相当复杂，而且抗干扰性差，一般无法作到实时处理。

动态视频目标检测技术解决了监控系统中事件发生地点的问题。而目标跟踪技术、目标识别技术、行为模式分析技术也是视频监控技术智能化的重要理论基础，这些技术能更好地提升视频监控系统的性能，分析预测目标的可能走向，预测一些事件或者事态发展的趋势，对它出现临界的状态能做判断，预防不良事件发生。

参考文献

［１］ＫＩＭＣ，ＨＷＡＮＧＪＮ．ＦａｓｔａｎｄＡｕｔｏｍａｔｉｃＶｉｄｅｏＯｂｊｅｃｔＳｅｇｍｅｎｔａｔｉｏｎａｎｄＴｒａｃｋｉｎｇｆｏｒＣｏｎｔｅｎｔ－ＢａｓｅｄＡｐｐｌｉｃａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓ．ｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈ－ｎｏｌｏｇｙ，２００２（１２）：１２２￣１２９

［２］ＫＯＢＬＡＶ，ＤＯＥＲＭＡＮＮＤＳ，ＬＩＮＫＩ．Ａｒｃｈｉｖｉｎｇ，ＩｎｄｅｘｉｎｇａｎｄＲｅｔｒｉｅｖａｌｏｆＶｉｄｅｏｉｎＣｏｍｐｒｅｓｓｅｄＤｏｍａｉｎ［Ｊ］．ＳＰＩＥＣｏｎｆ．ＭｕｌｔｉｍｅｄｉａＳｔｏｒａｇｅａｎｄＡｒｃｈｉｖｉｎｇＳｙｓｔｅｍ，１９９６，２９１６：７８￣８９

［３］ＢＡＢＵＲＶ，ＲＡＭＡＫＲＩＳＨＮＡＮＫＲ．ＣｏｍｐｒｅｓｓｅｄＤｏｍａｉｎＭｏｔｉｏｎＳｅｇｍｅｎｔａｔｉｏｎｆｏｒＶｉｄｅｏＯｂｊｅｃｔＥｘｔｒａｃｔｉｏｎ［Ｃ］／／Ｐｒｏ－ｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ２００２）．Ｏｒｌａｎｄｏ，Ｆｌｏｒｉｄａ：ＩＥＥＥ，２００２

［４］洪泽宏，王占辉，周榕军．基于运动一致性的视频对象分割

方法研究［Ｊ］．海军工程大学学报，２００７（８）：９０￣９３

［５］王煜坚，高建坡，吴镇扬．一种基于形态学滤波的视频对象

空间分割新策略［Ｊ］．中国图像图形学报，２００７（６）：１０１８￣

４结语

新的视频编码标准的制定，更好地解决了视频的

１０２４

［６］彭宇新，ＮｇｏＣｈｏｎｇ－Ｗａｈ，郭宗明，肖建国．基于内容的视频

检索关键技术［Ｊ］．计算机工程，２００４（１）：１４￣１６

存储，播放和传输的问题；而流媒体技术的出现，使得视频与网络这个载体更好地融合；基于内容的视频检索技术也被应用于各大电视台视频数据库的检索等。这些不断被改进的技术使得视频分析技术在广播电视领域、通信领域、文化娱乐领域、医疗教育领域，甚至红外热成像、医学成像等其他领域都大放异彩。

［７］周志波，曹振海，章磊．基于ＭＰＥＧ－４的自适应实时流媒

体传输［Ｊ］．计算机工程与应用，２００４（３１）：１３４￣１３６

［８］魏聪颖，牛建伟，吉海星等．基于实时流媒体传输系统的Ｈ．２６４组包算法研究［Ｊ］．计算机科学，２００７（８）：４１￣４４［９］潘曦．基于无线网络的流媒体系统的设计与实现［Ｄ］．北

京交通大学，２００７

［１０］王陈阳，周明全，耿国华．基于自适应背景模型运动目标

检测［Ｊ］．计算机技术与发展，２００７（４）：２１￣２６

ＲｅｓｅａｒｃｈａｎｄＡｐｐｌｉｃａｔｉｏｎ

ｏｆＶｉｄｅｏＡｎａｌｙｓｉｓＴｅｃｈｎｏｌｏｇｉｅｓ

ＸＵＸｉａｎｇ－ｌｉ

，

ＣＨＥＮＹｕｅ－ｌｉｎ，ＷＥＩＢｉ－ｚｈｏｎｇ

（ＤｅｐａｒｔｍｅｎｔｏｆＭｅｃｈａｎｉｃａｌａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ５４１００４）

Ａｂｓｔｒａｃｔｓ：Ｔｈｒｏｕｔｈｅｘｐｌｏｒｉｎｇｏｎｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆｖｉｄｅｏａｎａｌｙｓｉｓａｎｄａｎａｌｙｓｉｎｇｓｃｉｅｎｔｉｆｉｃｒｅｓｅａｒｃｈ

ａｃｈｉｅｖｅｍｅｎｔｏｆｄｏｍｅｓｔｉｃａｎｄｏｖｅｒｓｅａｓｒｅｓｅａｒｃｈｇｒｏｕｐｓ，ｓｈｏｗｓｔｈｅｉｎｎｅｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｖｉｄｅｏｃｏｄｉｎｇｔｅｃｈｎｏｌｏｇｙ，ｖｉｄｅｏｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ｃｏｎｔｅｎｔ－ｂａｓｅｄｒｅｔｒｉｅｖａｌｔｅｃｈｎｏｌｏｇｙ，ｓｔｒｅａｍｉｎｇｍｅｄｉａｔｒａｎｓｍｉｓｓｉｏｎｔｅｃｈｎｏｌｏｇｙ，ａｎｄｔｈｅｍａｉｎｐｏｉｎｔｓａｎｄｄｉｆｆｉｃｕｌｉｅｓｏｆｅａｃｈｔｅｃｈｎｏｌｏｇｙ．Ｔｈｒｏｕｇｈｉｎｔｒｏｄｕｃｉｎｇｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｖｉｄｅｏａｎａｌｙｓｉｓｔｅｃｈｎｏｌｏｇｙｉｎｖｉｄｅｏ

ｍｏｎｉｔｏｒｉｎｇ，ｅｘｐｅｃｔｔｈｅｗｉｄｅａｐｐｌｉｃａｔｉｏｎｐｒｏｓｐｅｃｔｏｆｔｈｉｓｔｅｃｈｎｏｌｏｇｙｉｎｍａｎｙｆｉｅｌｄｓ．

Ｋｅｙｗｏｒｄｓ：ＶｉｄｅｏＡｎａｌｙｓｉｓ；ＶｉｄｅｏＣｏｄｉｎｇ；Ｃｏｎｔｅｎｔ－ＢａｓｅｄＶｉｄｅｏＲｅｔｒｉｅｖａｌ；ＶｉｄｅｏＳｅｇｍｅｎｔａｔｉｏｎ；

ＳｔｒｅａｍＭｅｄｉａＴｒａｎｓｐｏｒｔａｔｉｏｎ

现代计算机（总第二八七期）

ＲＮＲ２００８．７

"!