现代社会信息量增长速度极快,数据规模的指数级增长对当前的数据存储和处理能力带来了巨大的冲击,云计算为海量数据的存储和处理提供了新的思路,大量的数据需要驻留在云平台中或借助于云平台进行处理[1]。为了应对这些挑战,当前各种新技术层出不穷,在许多方面已经获得了应用并取得了突出的成绩,如Hadoop提供了海量数据存储分布式文件系统(HDFS)和海量数据批处理MapReduce,Storm进行实时大数据分析,Spark提供了内存迭代式计算等[2]。因此,大数据技术的迅猛发展对相关人才产生了巨大需求。
当前高校教学存在“重理论轻实践”的状况,且教学大纲更新缓慢,不能很好地支撑当前大数据产业对人才的需求,必须尽快改革课程体系,满足贴合产业实际的人才需求。
北京科技大学计算机专业以大数据时代为背景,依托云平台构建大数据实验教学平台,首次进行了大数据实验教学的探索与实践,将大数据相关技术与理论实践引入课堂中,使学生对大数据技术有一个清晰的认识,更好地满足了用人单位的需求。
1 相关技术
2 平台建设
3 实验内容
4 结语
随着大数据技术在计算机领域的迅猛发展,对于高校大数据技术课程尤其是实践类课程,要求教师积极学习新的理论和技术,并且开设相应的理论和实验课程。当前高校大数据教学理论体系并不成熟,我校计算机专业建设也处于摸索阶段。在建设大数据实验教学平台的基础上,设计了相应的课程体系和实验内容,未来需要改进大数据实验教学体系,使之更为科学、合理,在培养学生基本技能的同时,也培养学生获取新知识、应用新知识的能力,为培养创新型人才提供有效的途径。
参考文献
[1] 应毅,任凯,刘亚军.基于Cygwin和虚拟机技术的大数据实验室建设研究[J].实验室科学,2019,22(4):174-178,181.
[2] 徐岩,周围.面向计算机基础教学的Hadoop实验设计[J].实验室研究与探索,2016,35(1):169-172.
[3] 李勇,杨华芬.教育资源云虚拟化平台模型构建研究[J].实验室研究与探索,2017,36(10):135-139,152.
[4] 应毅,刘亚军,俞琰.利用Docker容器技术构建大数据实验室[J].实验室研究与探索,2018,37(2):264-268.
[5] 宋杰,孙宗哲,毛克明,等.MapReduce大数据处理平台与算法研究进展[J].软件学报,2017,28(3):514-543.
[6] HDFS Architecture Guide [EB/OL]. http://hadoop.apache.org/docs/r0.20.203.0/hdfs_design.html.
[7] Shvachko, H Huang, S Radia, et al. The Hadoop distributed file system[C]. In 26th IEEE (MSST2010) Symposium on Massive Storage Systems and Technologies, 2010.
[8] T White. Hadoop: The definitive guide [M]. O'Reilly Media, Yahoo! Press, 2012.
[9] M L Massie, B N Chun, D E Culler. The Ganglia distributed monitoring system: Design, implementation, and experience[J]. Parallel Computing, 2004, 30(7):817-840.
张敏1,2 边胜琴1 郭茜1,2 王小妹1 崔晓龙1
1.北京科技大学计算机与通信工程学院 2.材料领域知识工程北京市重点实验室 |