当前位置:首页> 圈子> 精华推荐

【精华推荐】2017年大数据发展的十大趋势预测 | 2016年大数据领域成果及趋势

2016年,近40%的公司开始或正在实施和扩展大数据技术应用,另有30%的公司计划在未来12个月内采用大数据技术。2016年NewVantage Partners的大数据管理调查发现,62.5%的公司现在至少有一个大数据项目投入生产,只有5.4%的公司没有大数据应用计划,或者是没有正在进行的大数据项目。

  2017将会有越来越多的公司加速采用大数据技术。互联网数据中心(IDC)预测,到2020年大数据和分析技术市场,将从今年的1301亿美元增加至2030亿美元。“公司对数据可用性要求的提高,新一代技术的出现与发展,以及数据驱动决策带来的文化转变,都继续刺激着市场对大数据和分析技术服务的需求“,IDC副总裁Dan Vesset表示。

  “2015年该市场全球收入为1,220亿美元,预计到2016年,这一数字将增长11.3%,并预计在2020年以11.7%的复合年增长率(CAGR)继续增长。”

  虽然大数据市场将会继续增长这一点毋庸置疑,但企业应该如何应用大数据呢?目前还没有一个清楚的答案。新的大数据技术正在进入市场,而一些旧技术的使用还在继续增长。本文涵盖大数据未来发展的十大趋势,机器学习、预测分析、物联网和边缘计算等这些趋势都可能对2017年及以后的大数据市场产生极大影响。

  1.开放源码

  Apache 、Hadoop、Spark等开源应用程序已经在大数据领域占据了主导地位。 一项调查发现,预计到今年年底,近60%企业的Hadoop集群将投入生产。佛瑞斯特的研究显示,Hadoop的使用率正以每年32.9%的速度增长。专家表示,2017年许多企业将继续扩大他们的Hadoop和NoSQL技术应用,并寻找方法来提高处理大数据的速度。

  2.内存技术

  很多公司正试图加速大数据处理过程,它们采用的一项技术就是内存技术。在传统数据库中,数据存储在配备有硬盘驱动器或固态驱动器(SSD)的存储系统中。而现代内存技术将数据存储在RAM中,这样大大提高了数据存储的速度。佛瑞斯特研究的报告中预测,内存数据架构每年将增长29.2%。目前,有很多企业提供内存数据库技术,最著名的有SAP、IBM和Pivotal。

  3.机器学习

  随着大数据分析能力的不断提高,很多企业开始投资机器学习(ML)。机器学习是人工智能的一项分支,允许计算机在没有明确编码的情况下学习新事物。换句话说,就是分析大数据以得出结论。高德纳咨询公司(Gartner)称,机器学习是2017年十大战略技术趋势之一。它指出,当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法,创建出能够理解、学习、预测、适应,甚至可以自主操作的系统。

  4.预测分析

  预测分析与机器学习密切相关,事实上ML系统通常为预测分析软件提供动力。在早期大数据分析中,企业通过审查他们的数据来发现过去发生了什么,后来他们开始使用分析工具来调查这些事情发生的原因。预测分析则更进一步,使用大数据分析预测未来会发生什么。普华永道(PwC)2016年调查显示,目前仅为29%的公司使用预测分析技术,这个数量并不多。同时,许多供应商最近都推出了预测分析工具。随着企业越来越意识到预测分析工具的强大功能,这一数字在未来几年可能会出现激增。

  5.智能app

  企业使用机器学习和AI技术的另一种方式是创建智能应用程序这些应用程序采用大数据分析技术来分析用户过往的行为,为用户提供个性化的服务。推荐引擎就是一个大家非常熟悉的例子。在2017年十大战略技术趋势列表中,高德纳公司把智能应用列在了第二位。高德纳公司副总裁大卫·希尔里(David Cearley)说:“未来10年,几乎每个app,每个应用程序和服务都将一定程度上应用AI。

  6.智能安保

  许多企业也将大数据分析纳入安全战略。企业的安全日志数据提供了以往未遂的网络攻击信息,企业可以利用这些数据来预测并防止未来可能发生的攻击,以减少攻击造成的损失。一些公司正将其安全信息和事件管理软件(SIEM)与大数据平台(如Hadoop)结合起来。还有一些公司选择向能够提供大数据分析能力产品的公司求助。

  7.物联网

  物联网也可能对大数据产生相当大的影响。根据IDC 2016年9月的报告,“31.4%的受访公司推出了物联网解决方案,另有43%希望在未来12个月内部署物联网解决方案。”随着这些新设备和应用程序上线,许多公司需要新的技术和系统,才能够处理和感知来自物联网的大量数据。

  8.边缘计算

  边缘计算是一种可以帮助公司处理物联网大数据的新技术。 在边缘计算中,大数据分析非常接近物联网设备和传感器,而不是数据中心或云。对于企业来说,这种方式的优点显而易见。因为在网络上流动的数据较少,可以提高网络性能并节省云计算成本。它还允许公司删除过期的和无价值的物联网数据,从而降低存储和基础架构成本。边缘计算还可以加快分析过程,使决策者能够更快地洞察情况并采取行动。

  9.高薪职业

  对于IT工作者来说,大数据的发展意味着大数据技能人才的高需求。IDC称,“到2018年,美国将有181,000个深度分析岗位,是数据管理和数据解读相关技能岗位数量的五倍。” 由于人才缺口过大,罗伯特·哈夫技术公司预测,到2017年数据科学家的平均薪资将增长6.5%,年薪在116,000美元到163,500美元之间(当然这是美国的标准,中国国内目前尚未统计)。同样,明年大数据工程师的薪资也将增长5.8%,在135,000美元到196,000美元之间。

  10.自助服务

  由于聘请高级专家的成本过高,许多公司开始转向数据分析工具。 IDC先前预测,“视觉数据发现工具的增长速度将比其他商业智能(BI)市场快2.5倍,到2018年,所有企业都将投资终端用户自助服务。

  一些大数据供应商已经推出了具有“自助服务”能力的大数据分析工具,专家预计这种趋势将持续到2017年及以后。数据分析过程中,信息技术的参与将越来越少,大数据分析将越来越多地融入到所有部门工作人员的工作方式之中。

2016年大数据领域成果及趋势

2016即将结束,外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展,以及2017年度可能出现的变化趋势,询问了8位行业内的顶级专家。

虽然各位专家的意见不尽相同,但从其发言中大约可以总结出一个共通点:大数据研究正在由前几年的新鲜技术变得越来越普及和商业化。同时,由于研究的向前推进,以数据为基础的人工智能、机器学习和物联网等其他各个领域也将会取得越来越大的成果。

1. Craig Brown,大数据、数据科学、数据库技术领域专家。美国知名的青年导师、科技导师,以及作家。

在2016年,数据科学领域出现了一次大规模的数据增长。这一增长从需求端推动了诸多云计算服务供应商的快速成长,包括亚马逊AWS、微软Azure和Rackspace等。我认为,数据增长的势头将在2017年得到延续。并且,2017年将会出现更多的基于这些大数据研究的应用项目,包括机器学习、认知计算以及预测分析等。不过,随着数据量的增加,应用项目的逐渐丰富,用户的数据安全问题也将变得日益严峻,这一点在2017年也不会有很大改善。2017年,数据科学家、首席数据官、首席数据架构师等职位将变得越来越抢手,岗位职责和定位也会越来越明晰。实时数据流和功能更强大的数据传输通道将彻底颠覆所谓“快速数据”(fast data)和“可操控数据”(actionable data)的定义。

总体上说,大数据科学仍然是一个处于不断发展中的学科,在2017年,这一学科一定会迎来比2016年更大的发展。如果把大数据比作一辆汽车的驾驶员,那么在这位驾驶员的带领下,未来基于大数据的各种实际应用项目将会越来越丰富,也即这辆汽车上的乘客会越来越多。

2. James Kobielus,大数据领域专家,IBM公司大数据研究首席科学家。

分布式框架Hadoop在大数据领域的重要性正在日渐减弱,MapReduce模型、HBase数据库,甚至分布式文件系统HDFS在大数据科学家眼中也远没有从前重要了。

2017年最显著的变化趋势应该来自于程序员群体,他们将越来越关注数据库领域的编程技能,通过这一技能的提升,获得更多的职业发展优势。我认为在2017年,最热门的大数据科学应用项目将会聚焦于流媒体分析、嵌入式深度学习、物联网、聊天机器人、认知计算、自动驾驶、计算机视觉和语音识别等领域。同时,我们也将会看到,新一代的神经网络芯片、GPU和其他的高性能认知计算框架也将在明年得到更大的发展。

3. Douglas Laney,美国著名咨询公司Gartner副总裁,首席分析师。

2016年,大数据领域一个最大的变化就是人们不再谈论大数据了,因为大数据已经充斥了我们的生活,随处可见。现在大家关注的焦点变成了如何将大数据业务化、商用化。在Gartner内部,我们和客户现在谈论最多的问题是如何管理、评估信息资产,以及如何将信息资产变现。

2017年,我们应该努力搞清楚大数据领域几项重要的权利和义务,包括数据的所有权、特权和隐私权,特别是由物联网产生的数据。另外,关于数据能否被视为一种全新形态的资产,这一问题会继续引发会计行业、律师行业和保险行业的困惑。但随着机构投资人和股票分析师们越来越关注一家企业的信息化进程,传统行业的这种困惑将会有所缓解。2017年,各行各业都将会更加关注大数据领域的人才招揽,例如数据经理人和其他的信息整合者。

4. Yves Mulkers,知名博客一切皆数据(All Things Data)博主之一,负责维护大数据板块。

在2016年,大数据这个词似乎不像前几年那样热门。随着大数据相关的基础设施、服务器、软件系统和理论体系的持续发展,目前大数据分析方面的解决方案已经逐渐成熟,并且越来越普及,而不像前几年那样还是少数科技极客眼中的新领域。随着技术的成熟,自助和自动化的信息服务也将越来越受到重视。大数据分析工具和相关的解决方案虽然会变得越来越简单易用,但我们仍然需要具备基本的通信技术和信息处理领域的专业知识,随时准备迎接下一个发展阶段的到来。未来,和机器学习、人工智能、VR/AR、物联网相关的大数据解决方案将越来越完备,摩尔定律的边界也会受到更多的挑战。

5. Mark van Rijmenam,Datafloq网创始人,大数据相关书籍《Think Bigger》作者。

对于大数据领域来说,2016是令人激动的一年,因为“大数据”终于不再是一个流行词。这说明研究者们正在基于大数据开发真实可用的解决方案和应用程序,而不再是简单的噱头。

2017年,随着技术的进步,以大数据为基础而开发的应用将越来越丰富。由于计算机的计算能力和真实可用的庞大数据量不再是问题,因此以人工智能和深度学习为代表的智能应用也将变得更加聪明,更加普及。总体上说,由于大数据、智能应用和越来越丰富的智能终端产品的出现,2017年应该是值得我们期待的一年。不过,随着大数据的广泛应用,数据安全和隐私问题也将越来越严峻。

6. Ronald van Loon,Adversitement网站主管,大数据科学领域年度10大影响力人物之一。

今年是大数据科学领域产生重大变化的一年。可以看到,无论是单一学科还是跨学科的用户,在这一年中都在向着以数据驱动为核心的组织架构调整。而且通过物联网的进一步普及,我们已经在某些核心应用场景积累了大数据处理和传输的宝贵经验。另外,由于强大的云计算平台的支持,越来越多的机器学习应用也正在研发之中。

在2017年,这一趋势将得以延续,人工智能、机器学习和物联网应用在大数据的支撑下将迎来一个爆发性的增长。目前,技术研发能力已经就绪,对于市场需求的灵活迭代机制也越发成熟,根据预测,截止2020年,接入互联网的设备总数将达到100亿-340亿之间。

7. Jeff Ullman,斯坦福大学计算学科教授,主要研究数据库理论、数据库集成一体化和数据挖掘等。

欧盟刚刚针对大数据的使用和分析模型的建立出台了一个新的隐私保护法(雷锋网获悉,这一法案将于2018年1月起正式施行)。现在还无法确定这一法案将会造成怎样的影响,但有一点似乎可以确定,那就是它将在很大程度上避免深度学习领域内由于分析模型乱用导致的意外问题。目前许多公司都在与欧盟沟通,试图确认究竟哪些数据资源和分析模型是可用的,而哪些不行。比如说,谷歌可以探测一封邮件的内容,并且将其和已知的垃圾邮件对比,如果内容类似就判定这封邮件为垃圾邮件。那么谷歌到底有没有读取用户邮件的权利?这些问题都还有待确定。

8. Matei Zaharia,Databricks平台首席科学家,大数据处理框架Apache Spark创始人。

1) 公有云正在成为部署大数据应用的主流平台。根据今年夏天的用户调查结果显示,在公有云部署Spark框架的用户比例高达61%,而使用Hadoop YARN的用户则只有36%。更重要的是,使用公有云的61%的用户去年只有51%,而使用Hadoop YARN的用户则从去年的40%下滑到36%,这说明公有云的用户正在持续的增长。分析原因,这或许是由于亚马逊AWS S3这样的云服务产品正在变得越来越经济,性能越来越稳定,易用性也越来越好。

2) 今年7月,我们发布了Apache Spark 2.0版,这一版本针对Spark SQL和数据帧(Dataframes)在新款硬件的使用方面进行了较大的性能提升。值得一提的是,我们已经看到2.0版的使用率正在快速增长,目前大约有40%的集群用户正在使用它。这说明用户需要对新硬件建立快速的支持。

热门板块