更新时间:2024-02-12 05:20:28作者:51data
经过多年的发展,大数据已经走出理论舞台,在生活的各个领域发挥了实际作用。随着人工智能、物联网、量子计算等概念的加持,大数据应用的可能性将进一步扩大。今天,当数据量不再是问题时,
前沿技术带来的捷径和歧途同时出现,探索大数据内涵的下一步需要紧急启动。
今年9月,邓巴高级副总裁兼首席数据科学家Anthony Scriffignano在接受《www.thepaper.cn》等媒体采访时表示,
地球上的数据总量呈指数级增长,其规模不可估量。“这不是数据的问题,而是如何让数据变得有意义的问题。”
邓白氏是世界著名的商业信息服务机构,拥有170多年的历史。其全球数据系统包含来自数万个数据源的3亿多条企业记录。作为邓巴高级副总裁兼首席数据科学家,
斯克里韦加诺拥有语言学和高级算法的学术背景。今年5月,他被全球最大的高级数字和数据领导者社区CDO俱乐部选为2018年首席数据官。
安东尼斯克里韦加诺
“大数据”一词是在2008年《自然》子刊发表的一篇论文中提出的。这一概念进入中国后,迅速被欣欣向荣的互联网企业奉为圭臬,引领其应用。目前,我国大数据产业已经做大做强。
根据中国信息通信研究院发布的《大数据白皮书》,2017年中国大数据产业规模已达4700亿元,同比增长30%。这一数字令人印象深刻,但无法与全球数据的增长速度相提并论。2017年,
全球数据量约为21.6,IDC预测2020年全球数据量将达到44,2025年将达到180。
海量增长的数据为人工智能提供了施展拳脚的空间。斯克里韦加诺表示,人工智能、物联网和金融科技等新技术在多年前就已存在,但今天的计算机计算能力和数据规模将这些技术融合在一起,变得更加强大。
“我们的客户正面临这种数字化带来的颠覆和挑战,他们被迫做出改变。然而,许多小企业没有资源来应对变化和参与竞争,而大公司可能会被机遇淹没,花太多时间做决策。”
作为一家专门从事商业数据咨询的企业,邓白在新的数据格式中改变了他的方法。斯克里韦加诺表示,在技术的影响下,当今商业的性质已经发生了变化。例如,企业的兴衰速度大大加快,
因此,有必要引入自动数据采集技术来取代以前的人工操作;获取信息是不够的,需要培养机器有效识别信息的时效性和真实性;当发现和发现欺诈时,企业可能会意识到自己受到观察并改变行为。
这使得传统的建模分析鞭长莫及。对于这些问题,邓白给出的解决方案是拥抱人工智能,并超越主流水平。
可变性和不确定性似乎是当今商业的新特征,因此传统的建模方法不再是最佳的分析方法。“你不能使用传统的‘机器学习建模’方法来应对不断变化的环境,而是需要更先进的AI。
Scriffegano将这种类型的人工智能称为“非回归人工智能”。这里的回归一词是指数据分析中的“回归分析”。在邓白的设计中,人工智能不再通过总结过去的数据来预测未来,而是“教会机器如何学习”。
例如,Scrivegano表示,传统算法会根据数据规律绘制一条“回归线”,远离回归线的数据将被视为异常。传统算法会忽略这些异常值,将其视为随机“噪声”。但是在某些情况下,
这些“噪音”背后可能包含着对决策至关重要的信息。它可能意味着贷款、加密货币交易,也可能意味着有组织犯罪。邓白称这些包含信息的“噪音”为“团”,并训练更先进的人工智能来识别它们。
在一个涉及数百万交易的商业网络中,几个企业之间建立了一个购买和销售包的闭环通道,这种不正常的关系被AI识别并以几个小团体的形式呈现出来。至此,AI之间的关系也告一段落。
接下来,将由人类分析师来判断异常关系背后的真相是什么。斯克里韦加诺解释说,这样的人工智能解决的不是数学问题,而是模式问题。“把大问题分解成小问题,让人们去分析和解决。”
传统回归分析方法示意图
当谈到中国同事近年来的表现时,斯克里韦加诺称赞了他们。他说,中国在量子科学领域的成就已经领先世界。如果量子计算未来成真,将深刻改变传统数据行业“采集-建模-分析”的工作模式。
“量子计算不需要通过建模来理解世界,因为它本身就是用物质世界来理解它的物质世界。”
近年来,火热的大数据产业催生了许多大学开设大数据专业。当被问及新环境下大数据行业需要什么样的人才时,斯克里韦加诺表示,过去对人才的要求是他们接受过计算机科学或数据科学方面的培训,并拥有出色的技能。今天,
专业水平不可或缺,但一些软技能更重要。比如:好奇心。数据是一门不断变化的科学,学生需要时刻对新事物和变化保持好奇;谦逊。一切都在不断变化,
每个人都永远处于学习的过程中;合作能力。当今世界,各种技术聚集在一起,没有人能独自解决所有问题,因此合作非常重要;沟通技巧。如果你解决不了问题,没关系,一定要解释清楚,让团队一起克服。