基于Hadoop的快速并行视频处理方法

A Fast Parallel Video Processing Method Based on Hadoop

摘要:

目前,基于 Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大量的系统 IO,造成系统资源浪费。针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了MapReduce 相关视频数据处理接口,使 Hadoop 可以更快速处理视频文件。通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10%,IO读写量减少50%以上,提升了Hadoop视频文件的处理效率。

Abstract:

AtSpresent,traditionalSmethodsSbasedSonSHadoopSvideoSprocessingSreadSdataSfromSlocalSfileSsystemSthroughStheSMapReduce.SUsingSbyte-stream,StheyStransferSdataSbetweenSMapReduce,SbutSthisSwillSproduceSaSlargeSamountSofSsystemSIOSandScauseSlossSofSresources.SConsideringStheSissue,SthisSpassageSproposesSaSvideoSprocessingSmethodSbasedSonSHadoopSplatform.STheSmethodSrealizesSvideoStypeSextensionsSSsupportedSbySHadoopSandSdesignsSvideoSdataSprocessingSinterfacesSaboutSMapReduce,SwhichSmakeSHadoopSprocessSvideoSfilesSmuchSfaster.SExperimentsSonScomputerSclusterSillustrateSthatScomparedSwithStraditionalSmethods,thisSmethod’sSrunningStimeSdecreasesSbyS10%SandStheamountSofSIOSreadSandSwriteSdeclineSmoreSthanS50%.SSoSitSimprovesStheSprocessingSefficiencySofSHadoopSvideoSfilesKeywords: Hadoop; Map-Reduce; parallel computing; video processing; IO write amount