分布式高维度多媒体对象匹配算法,这篇分布式论文范文为免费优秀学术论文范文,可用于相关写作参考。
分布式论文参考文献：
[摘 要]在解决高维度多媒体对象匹配效率问题时,仅仅依靠提高处理器的处理能力和单个计算机的数量来提高指纹匹配效率,势必会引起成本的巨额增加,并大大降低了灵活性和扩展性.为了解决这个问题,本文提出利用分布式的方式,实现从连续的K帧中提取相联系指纹的并行处理方式,这样指纹匹配的任务会被分散到一个个分布式的环境中,使匹配能够在不同的机器上并行,从而提高视频指纹匹配的效率.
[关键词]分布式匹配引擎；多媒体；视频指纹匹配；云计算
doi：10.3969/j.issn.1673 - 0194.2017.14.079
[中图分类号]TP399 [文献标识码]A [文章编号]1673-0194（2017）14-0-02
1 研究背景
随着数字视频的爆炸性增长,加上视频处理软件的增多,导致复制和盗版者可以很轻松地对视频进行任意处理,严重影响版权所有者的利益.同一视频资源经过复制或是盗版会出现各种各样的拷贝视频,当需要检索一个数字视频时,会出现大量和之相似的视频,这不仅影响了查询所需视频的检索时效,也是对视频原创者的不尊重.虽然最早用于防伪技术的数字水印技术,通过在视频中预先插入设计好的数字水印,以起到防伪和拷贝检测的作用,但随着网站视频被复制和转载数量的急剧增加,数字水印的认证精度无法得到保证,且在视频中插入数字水印的成本过高,且易被破坏,不合适个人用户进行使用.尤其是在云计算环境下,使用者通过对原视频多种方式的變换后,如添加、嵌入、自由裁切,以及对视频的外观、色彩、对比度、灰度等进行修改,就可以获得多个类似视频的版本,且变换的方式还有很多种,还可以不同的变换方式进行叠加,这些都给视频的拷贝检测及匹配带来了难度,单纯通过单一检测匹配方式是很难完成视频原创性的检测和鉴定的,在云计算环境下,为了解决高维度多媒体对象检测匹配效率的问题,本文提出通过利用分布式的方式,实现检测匹配效率的提高,利用分布式架构模型MapReduce解决高维度多媒体对象匹配效率问题,从而提高视频指纹匹配速度和准确度,并降低成本.
2 MapReduce简介
MapReduce是一种编程模型,可用于大规模的算法图形并行处理.具体工作思想是：通过指定一个Map（映射）函数,以把一组键值对映射成一组新的键值对,并指定并发的Reduce（归约）函数,以保证所有映射的键值对中的每一个共享相同的键组.其中,Map的操作是可以高度并行的,这对完成高维度的匹配非常关键.简单的理解其工作原理就是,将一些大规模的处理任务分解成许多较小的处理任务,并分散到不同的计算节点上,然后对计算处理的结果进行汇总,从而得到最终想要的结果.将计算任务分散到节点上能够充分利用数据本地性的优势.
在MapReduce程序中通过自定义图像接口ImageInputFormat ImageRecordReader,实现基于MapReduce的大量图像的在线并行处理.目前,MapReduce可处理的图像格式还比较少,主要处理的常见图片格式为bmp、jpg、png等.MapReduce有两个基本的运算单元Map和Reduce,即通过作业的提交、Map任务的分配和执行、Reduce任务的分配和执行、作业的完成四个过程,实现对图像的分布式处理.其具体的工作流程如图1所示.
3 MapReduce问题描述
云安全环境下的多媒体内容检测是多媒体数据库中的一项重要应用,在进行多媒体内容检测时,需要提取的特征向量大都是具有高维度的特性,传统的索引结果模式不能很好地实现高维度的匹配,基于此,本文提出分布式高维度多媒体对象匹配引擎的设计,这里采用MapReduce来实现.在云安全环境下,将云计算技术引入批量图像处理领域,不仅充分利用了云端的计算和存储优势,还可以极大地提高图像的处理速度,便于高效地实现分布式高维度多媒体对象的匹配,并能很好地降低图像的计算成本和存储成本.MapReduce是为大规模处理图像而设计开发的,只是用MapReduce处理单个的小图像体现不出它的优势,只有用MapReduce处理海量的图像（至少GB级别以上）时效果明显,其本身分布式处理的优势才能体现出来.
MapReduce编程模型目前所采用的图像输入格式有两种：一种是普通图文件格式：from_vid to_vid这种输入图格式,在运行程序时需要选择“random”的partition方式（分图方式）.程序的各个进程将会并行且均分读取文件的相应部分；另一种是metis输出的子图格式,为了将全图的不同部分放到不同的计算节点上进行并行计算,需要将原图划分为若干子图.划分工具采用开源的Parmetis进行,Parmetis是基于MPI进行大规模的子图划分.MapReduce本身所带的数据格式是不能被直接用来进行大规模图像处理的,它能够处理的图像文件有两种：一是将要处理的图像信息进行预处理后,转换成MapReduce数据能够识别的二进制串数据；另外一种是通过自定义处理图像文件接口方式,实现大批量图像信息的处理.基于MapReduce的图像处理能够实现从连续的K帧中提取相联系指纹的并行处理方式,这样指纹匹配的任务会被分散到一个个分布式的环境中,使匹配能够在不同的机器上并行,从而能够提高视频指纹匹配的效率.
4 基于MapReduce的图像匹配算法的设计实现
在解决高维度多媒体对象匹配效率问题时,仅仅依靠提高处理器的处理能力和单个计算机的数量来提高指纹匹配效率,势必会引起成本的巨额增加,并大大降低灵活性和扩展性,这也是传统图像处理算法的弊端,基于MapReduce的图像处理算法能够实现分布式图像处理,充分利用图像处理数据的本地性特点,实现图像高处理速度和大规模图像的分布式高效化处理.
基于MapReduce的图像处理主要通过Map函数和Reduce函数的功能实现,MapReduce需要把输入的图像信息分成大小相同的数据分片（一般为128 M）,并为这些大小相同的分片分别构造一个Map任务,Map（）函数以key/value对（k1,v1）作为图像信息的输入,从而会产生另外一系列key/value对（k2,v2）,这就是处理过程中的输出会被保存到本地磁盘,在shuffle阶段这些Map的数据输出（k2,v2）能够按照k2值进行聚集生成[k2,{v2,等}],然后MapReduce程序统一将这些聚集生成的数据交给Reduce（）函数处理.Reduce（）函数把k2和聚集生成的对应列表{v2,等}当做输入,然后把输入中的每个k2和对应列表中的v2值进行合并,产生另外的一系列数据key/value对（k3,v3）,新产生的这些数据最终会被写入到HDFS中.使用者只需要做好Mapper和Reducer这两类工作,就能完成分布式图像处理的程序设计.
结论：关于本文可作为相关专业分布式论文写作研究的大学硕士与本科毕业论文分布式监控系统论文开题报告范文和职称论文参考文献资料。
高师辅导员、班主任工作维度与考核
摘 要： 教育、管理、服务是高师辅导员、班主任的三大基本职能，随着高等教育的改革，他们的服务职能逐渐凸显，更应转变学生管理理念，以学生为本，以。
全面深化改革和高质量要相匹配
改革的话题是一个热点的话题，怎样加快推进改革，全社会都很关注。现在中国进入了中国特色社会主义新时代。我国发展也进入了一个新阶段，从高速增长的阶段。
高管团队胜任特征横向匹配
摘要：高管团队作为战略执行的主要负责单元，其内部高管成员之间胜任特征是否匹配已成为影响组织绩效的关键因素。针对高管团队胜任特征的横向匹配问题，按。
相对绩效和高管薪酬问不匹配关系
房地产行业 制造行业 相对绩效 高管薪酬背景自2008年经济危机爆发，公司的高管薪酬一直受到了大众的关注。与此同时高管“天价”薪酬的报道层出。