大数据环境下MapReduce准入控制的设计与实现
CSTR:
作者:
作者单位:

(1.西安邮电大学 通信与信息工程学院,西安 710061;2.西安邮电大学 信息中心,西安 710061 )

作者简介:

李亚如(1988),女,山西晋城人,硕士研究生,主要从事网络与信息安全方向的研究。 刘建华(1963),男,陕西西安人,教授,高级工程师,主要从事信息安全方向的研究。 [FQ)]


Design and Implementation of Mapreduce Access Control in Big Data Environment [JZ)][HS)]
Author:
Affiliation:

(1.School of Communication and Information Engineering,Xi'an University of Posts and Telecommunications,Xi'an 710061, China;2.Information Center, School of Communication and Information Engineering,Xi'an University of Posts and Telecommunications,Xi'an 710061, China ) 

  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [10]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    为了保证Hadoop平台的安全性,确保执行MapReduce作业的TaskTracker节点符合Hadoop平台的安全管理要求,杜绝非法用户对TaskTracker节点访问并对其分配任务,提出了一种对JobTracker节点进行身份认证的方法,设计实现了对JobTracker节点进行身份认证的认证体系;该认证体系主要是基于802.1x进行准入控制,重点分析了MapReduce分布式计算的流程,提出了总体设计方案,完成了相关模块的配置实现,最终结果显示只有通过认证的JobTracker才能通过交换机的可控端口给相应的TaskTracker节点分配任务,有效地避免了非法用户的访问,增强了Hadoop平台的安全性、可靠性,为建设安全的大数据环境提供了很好的技术支持。 

    Abstract:

    In order to ensure the security of Hadoop platform,to ensure that the TaskTracker node of the MapReduce operation is in accordance with the safety management requirements of the Hadoop platform, Put an end to the illegal users access to TaskTracker node and the assigned task, A method of authentication for JobTracker node is proposed, Design and implementation of the authentication system for JobTracker nodes. The certification system is mainly based on 802.1x performs admission control, Focus on the analysis of the process of MapReduce distributed computing, Put forward the overall design scheme, Complete the configuration of the relevant module, The final result shows that the TaskTracker node assignment can be assigned to the corresponding JobTracker node through the control of the switch, Effectively avoid the illegal user access, Enhanced security and reliability of the Hadoop platform, For the construction safety of big data environment provides a good technical support.

    参考文献
    [1] 李晓蕾.基于Hadoop社交网络分析平台的设计与实现.计算机测量与控制,2014(12):40944097.
    [2] 郑晓薇,项明,张大为,等.基于节点能力的Hadoop集群任务自适应调度方法.计算机研究与发展,2014(3):618626.
    [3] 曹旭.Hadoop平台下海量日志数据处理模型的研究及改进.杭州:浙江理工大学,2013.
    [4] 何翔,李仁发,唐卓.一种异构环境下的基于MapReduce任务调度改进机制.计算机应用研究,2013(11):33703373,3379.
    [5] 任萱萱.基于Hadoop平台的作业调度研究.天津:天津师范大学,2011.
    [6] 王昌旭,周振柳,许榕生.网络接入安全控制研究.计算机应用与软件,2008(11):9294.
    [7] 朱兵,周爽,张攀.基于主机信息的802.1x的改进方案设计.信息安全与技术,2010(7):114116.
    [8] 鹿凯宁,韦乃文.802.1x协议安全性能的改进.电子测量技术,2007(1):107109.
    [9] 黄永锋,王滨,许晓东.RADIUS在802.1x中的应用.计算机工程与设计,2006(5):798801.
    [10] 杨凌凤.使用USBKey提高FreeRadius证书认证的安全性.计算机安全,2008(2):42
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

李亚如,刘建华.大数据环境下MapReduce准入控制的设计与实现计算机测量与控制[J].,2016,24(2):114-117.

复制
分享
文章指标
  • 点击次数:1552
  • 下载次数: 542
  • HTML阅读次数: 0
  • 引用次数: 0
历史
  • 收稿日期:2015-12-03
  • 最后修改日期:2015-12-30
  • 在线发布日期: 2016-07-27
文章二维码