大数据专业是什么？你学到了什么？

大数据采集与管理专业是从数据管理、系统开发、海量数据分析与挖掘等方面系统帮助企业掌握大数据应用中各种典型问题解决方案的专业。

1.行业现状:现在越来越多的行业看好大数据的应用。使用大数据或相关数据分析解决方案已经成为互联网行业的标配，如百度、腾讯、淘宝、新浪等公司。在电信、金融、能源等传统行业，越来越多的用户正在尝试或考虑如何利用大数据解决方案提升业务水平。

2.课程设置:大数据将从三个主要方面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中各种典型问题的解决方案，包括协同过滤算法的实现与分析、运行与学习分类算法、分布式Hadoop集群的构建与基准测试、分布式Hbase集群的构建与基准测试、一个基于Mapreduce的并行算法的实现、Hive的部署与实现。

3.核心技术:

(1)大数据和Hadoop生态系统。详细介绍和分析了分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL数据库技术的原理和应用。Mapreduce、分布式数据库HBase和Hive。

(2)关系数据库技术。详细介绍关系数据库的原理，掌握典型企业级数据库的构建、管理、开发和应用。

(3)分布式数据处理。详细介绍和分析了Map/Reduce计算模型和Hadoop Map/Reduce技术的原理和应用。

(4)海量数据分析和数据挖掘。详细介绍了数据挖掘技术和数据挖掘算法——min hash、jaccard和余弦相似度、TF-IDF数据挖掘算法——聚类算法。以及数据挖掘技术在行业中的具体应用。

(5)物联网和大数据。详细介绍了大数据在物联网中的应用、遥感影像的自动判读、时间序列数据的查询、分析和挖掘。

(6)文件系统(HDFS)。详细介绍了HDFS的部署。基于HDFS的高性能提供了高吞吐量的数据访问。

(7)NoSQL .详细介绍了NoSQL非关系数据库系统的原理、结构和典型应用。