大数据技术的发展历程及未来发展趋势

大数据技术的发展历程和未来发展趋势:从文明之初的“结绳记事”,到文字发明后的“以文载道”,再到现代科学的“数据建模”,数据一直伴随着人类社会的发展变化,承载着人类基于数据和信息认识世界所取得的巨大进步。

然而,直到以电子计算机为代表的现代信息技术的出现,为数据处理提供了自动化的方法和手段,人类掌握和处理数据的能力才实现了质的飞跃。信息技术及其在经济社会发展各方面的应用(即信息化)推动数据(信息)成为继物质、能源之后的又一重要战略资源。

大数据在2012和2013达到宣传高潮。2014之后,概念体系逐渐成型,认知更加理性。随着大数据相关技术、产品、应用和标准的不断发展,一个由数据资源和API、开源平台和工具、数据基础设施、数据分析和数据应用组成的大数据生态系统逐渐形成,并不断得到发展和完善,其发展热点也逐渐从技术转向应用,再转向治理。

经过多年的发展和沉淀,人们对大数据已经形成了基本的认识。大数据现象源于信息技术的无处不在的应用,以及互联网及其延伸带来的信息技术的持续低成本。大数据一般是指传统信息技术和软硬件工具在可容忍的时间内无法获取、管理和处理的庞大数据集合。它具有海量性、多样性、时效性和多变性的特点,需要一个可扩展的计算架构来支持其存储、处理和分析。