大数据与AI主要发展趋势基础设施、分析层面及应用层面

编者按：本文来自微信大众号“晨山本钱”（ID：chenshancapital），作者 晨山本钱，36氪经授权发布。

技能的前进推进着经济和日子的全面数字化，对数据的注重说到了史无前例的高度，“数据是财物”现已被广泛认可。正如《大数据年代》作者舍恩伯格所说，“虽然数据还没有被列入企业的财物负债表，但这仅仅一个时刻问题”。

在曩昔几年，咱们现已开端经过数据科学、机器学习和人工智能让部分运用场景的数据发作价值。这些技能也逐渐从开端的前期选用者（BAT和草创公司）扩展到更广泛的经济。怎么存储数据、办理数据并深挖数据的价值现已变成了简直一切的企业都需求考虑的问题。

咱们正处在通往数据驱动的智能国际（智能交通东西、智能企业、智能产品）的快车道上。在结局到来之前，技能开展都在推翻与被推翻，这是草创企业的用武之地。咱们继续重视数据智能链条上的草创企业，也在继续重视数据与AI开展当时处在什么阶段，未来会有什么改变。

以下是Matt Turck（美国前期基金FirstMark合伙人）总结的2019年大数据及AI范畴的首要开展趋势。他从基础设施、剖析以及运用层面别离论述了首要开展趋势，期望能给咱们带来考虑。

原标题：Major Trends in the 2019 Data & AI Landscape

作者： Matt Turck 译者：谌普江 晨山本钱出资司理

图片来历：pixabay

基础设施层面的趋势

1. 第三波浪潮？从Hadoop到云服务再到Kubernetes

2. 数据办理、数据编目、数据沿用：数据办理的重要性日积月累

3. 专用于AI的基础设施的鼓起

数据基础设施一向坚持快速进化状况。这个速度坚持了许多年，近期有加快进化的趋势，首要阅历三个阶段：从Hadoop到云服务再到Kubernetes环境。

诞生于2003年10月的Hadoop能够算得上大数据范畴的“开山祖师”。Hadoop是一个运用核算机网络对许多数据进行分布式存储和处理结构，在数据生态体系的爆破式开展中发挥了肯定中心的效果。

可是，在曩昔的几年里，宣告Hadoop逝世现已成为职业调查家们的常态。跟着Hadoop供货商遇到各式各样的费事，这一趋势本年进一步加快。在编撰本文时，MapR现已处于封闭的边际，也有或许现已找到了买家。最近刚刚完结52亿美元兼并的Cloudera和Hortonworks在6月份阅历了困难的一天，由于令人绝望的季度收益，股价暴跌了40%。Cloudera现已发布了多款云核算和混合产品，但现在还没有正式对外售卖。

由于来自云渠道的竞赛，Hadoop正面临越来越大的阻力。Hadoop是在云没那么齐备的时分开发的，大多数数据是在本地的，那时网络推迟是瓶颈，将数据和核算放在一同很有含义。但这一切现已改变了。

可是，Hadoop不太或许很快消失。它的开展或许会放缓，但它在企业间的布置规划之大，将使其在未来几年坚持惯性和生命力。

不管怎么，向云的改变显着正在加快。风趣的是，在咱们与《财富》1000强企业高管的攀谈中，2019年好像是一个真实的改变。在曩昔的几年里，评论云的许多，但真实的举动都是本地布置，尤其是在受监管的职业。现在《财富》杂志1000强企业的许多高管都在活泼转向云核算，其间有一部分活动触及从传统的微软商铺转向Azure。

因而，虽然云供给商的规划现已十分巨大，但它们仍在继续快速添加。2018年，AWS完结收入257亿美元，比2017年175亿美元添加46.9%。微软Azure的收入没有独自发表，但在到2019年3月的季度中同比添加了73%。虽然这不是一个完美的比照，可是AWS的收入在同季度同比添加了41%。

跟着云核算运用的深化，客户开端对本钱望而生畏。在国际各地的董事会会议室里，高管们忽然注意到一个从前很小的账目：他们的云账单。云核算的确供给了敏捷性，但它一般会带来很高的本钱，尤其是当客户的注意力脱离计价器或许无法精确猜测他们的核算需求时。像Adobe和Capital One等AWS客户，他们的云账单在2017年至2018年的短短一年里添加了60%以上，达到了2亿美元以上。

本钱，以及对供货商确定的忧虑，加快了向混合办法的开展，包含公共云、私有云和本地布置的组合。面临很多的挑选，企业将越来越多地挑选最合适自己的东西来优化绩效和经济效益。跟着云供给商愈加活泼地完结差异化，企业开端选用多云战略，运用每个云供给商最拿手的范畴。在某些情况下，为了优化经济效益，最好的办法是将一些作业负载保存（乃至是调回）在本地，特别是关于非动态作业负载。

风趣的是，云供给商正在习惯企业核算才能向混合环境开展的实践,像AWS会供给类似于AWS前哨的东西，答应客户进行本地核算和存储的一起，还能将本地负载与AWS云上其他程序无缝集成。

在这个新的多云和混合云年代，Kubernetes无疑是冉冉升起的巨星。Kubernetes是谷歌于2014年推出的一个用于办理容器化作业负载和服务的开源项目，它正阅历着与Hadoop几年前相同的热心，有8000名与会者参加了KubeCon活动，还有连绵不断的博客文章和播客。许多剖析师以为，RedHat在Kubernetes国际的重要位置，在很大程度上促成了IBM以340亿美元的大规划收买。Kubernetes的远景是协助企业完结跨环境运转作业负载，企业的混合环境会包含数据中心、私有云以及一个或多个公共云。

Kubernetes作为一个特别合适办理杂乱、混合环境的编制结构，也越来越成为机器学习的有吸引力的选项。Kubernetes运用相同的基础设施服务于多个用户，使得数据科学家不用成为基础设施专家，就能够灵敏地挑选他们喜爱的任何言语、机器学习库或结构，并练习和扩展模型，答应相对快速的迭代和强壮的重现性。Kubeflow是为Kubernetes开发的机器学习东西包，它的开展势头迅猛。

Kubernetes相对来说还处于起步阶段，但风趣的是，由于数据科学家或许更喜爱Kubernetes的全体灵敏性和可控性，上述情况或许标志着一种远离云机器学习服务的进化。咱们或许正在进入数据科学和机器学习基础设施的第三个范式改变，从Hadoop（直到2017年）到数据云服务（2017-2019），再到一个由Kubernetes和下一代数据仓库（比方Snowflake）主导的国际。

这种演化的另一面是杂乱性的添加。当然，这儿会有一个归纳渠道的时机。渠道会笼统并简化对许多云底层基础设施的操控，让更广泛的数据科学家和剖析师集体更简略拜访这个美丽的新国际。

虽然视点不同，Serverless方法便是这种简化的一种测验。这种履行模型答运用户编写和布置代码，而无需忧虑底层基础设施。云供给商处理一切后端服务，客户依据实践运用情况的付费。在曩昔的几年里，Serverless方法无疑是一个重要的新式主题，这也是咱们在本年的Data&AI范畴中添加的新品类。可是，将Serverless方法运用于机器学习和数据科学仍有较多作业要做，像Algorithmia和Iguazio/Nuclio这样的公司是前期进入者。

数据环境日益混合的另一个结果是，企业需求加大尽力来取得对数据的操控。

现在的数据环境十分杂乱，有些坐落数据仓库、有些坐落数据湖、有些坐落各种其他数据源，跨过本地布置、私有云和公共云，那应该怎么查找、办理、操控和盯梢数据？这包含各种相关的方法和称号，包含数据查询、数据办理、数据编目和数据沿用，一切这些都越来越重要和杰出。

• 在混合环境中查询数据自身便是一个应战，其处理方案要契合存储和核算别离的全体趋势。

• 数据办理是另一个敏捷成为企业首要考虑的范畴。数据办理的一般思维是办理数据，并保证整个数据生命周期（触及数据有用性、完整性、可用性、一致性和安全性）的高质量性。值得注意的是，在2019年头，Collibra进行了一轮1亿美元的融资，估值超越10亿美元。

• 数据编目是数据办理的另一种日益重要的手法。有用的数据编目是归纳企业各种数据财物的字典。它们协助用户（包含数据科学家、数据剖析师、开发人员和事务用户）能够自助发现和运用数据。

终究，数据沿用或许是最新呈现的数据办理类别。数据沿用的意图是捕获跨企业的“数据之旅”。它协助公司弄清楚数据在其生命周期中是怎么被搜集、怎么被修正以及怎么被共享的。许多要素推进了这一范畴的添加，包含合规、隐私和道德的重要性日益添加，也包含对机器学习管道和模型的可重复性和透明度的需求。

本年一向在加快开展的终究一个要害趋势，是AI专用基础设施的不断涌现。

办理人工智能管道和模型的需求导致了MLOps（或AIOps）范畴的快速添加。为了照应这种新趋势，本年的Landscape里边，咱们添加了两个新的框，一个名为基础设施（各种前期创业公司包含Algorithmia、Spell、 Weights&Biases等等），一个名为开放源码（各式各样的项目，一般适当早，包含Pachyderm、Seldon、Snorkel、MLeap等等）。

ML工程师需求能够运转试验并快速迭代，在需求时拜访如GPU等资源。在咱们的Data Driven NYC活动中，咱们介绍了一些前期草创公司，它们供给了比如Spell、Comet、Paperspace等基础设施。

跟着GPU数据库的鼓起和新一代人工智能芯片（Graphcore、Cerebras等）的诞生，人工智能对基础设施发作了深远的影响。人工智能正迫使咱们从头考虑核算的实质。

剖析层面开展趋势

1. 商业智能(BI)正在整合

2. 企业AI渠道是一个趋势

3. 横向人工智能依然十分活泼

在商业智能范畴, 正如前面说到的，曩昔几个月的显着趋势是许多整合,包含Tableau、Looker、Zoomdata和Clearstory的收买，以及SiSense和Periscope的兼并。由于数据可视化和自助剖析服务有许多的供货商，BI中的整合在某种程度上是不行避免的。每个供货商，不管巨细，都面临着多样化和扩展才能的压力。关于云收买商来说，这些新产品线肯定会添加收入，但更重要的是，它们具有附加功用，能够协助云收买商的中心渠道发作更多收入。

BI未来会有更多的整合吗?微软在Power BI方面具有强壮的位置，但当整个细分商场整兼而且每家公司都有用参加时，并购商场或许会有自己的动态。AWS就或许需求更强的产品，考虑到它的QuickSight BI一般被以为有点落后。

跟着BI的整合，数据科学和机器学习渠道范畴的热度继续上升。在企业中布置ML/AI是一种巨大的趋势，这个趋势现在还处于前期阶段，各种参加者都在力争上游地构建渠道。

关于该范畴的大多数公司来说，清晰的方针是促进ML/AI的民主化，也便是让更大的用户集体和更多的公司获利于ML/AI。现在人才缺少依然是ML/AI广泛选用的首要瓶颈。可是，不同的玩家有不同的战略。

一种办法是AutoML。它触及到主动化机器学习的整个生命周期，包含一些最庸俗的部分。依据产品的不同，AutoML将处理包含特征生成和工程，算法挑选，模型练习、布置和监督等各种使命。DataRobot是AutoML专家，自2018年以来，该公司已筹集了1亿美元的D轮融资（据称自那今后还筹集了更多）。

该范畴的其他公司，如Dataiku、H20和RapidMiner，供给具有AutoML功用的渠道，但也供给更广泛的功用。以Dataiku为例, 自2018年以来，成功融了C轮1.01亿美元。它的全体思路是赋能整个数据团队（包含数据科学家和数据剖析师），使得整个生命周期的数据处理简略而风趣。

云供给商当然很活泼，包含微软的Learning Studio、谷歌的cloud AutoML和AWS Sagemaker。虽然云供给商很强壮，但这些产品的定位比较窄——一般很难运用，而且首要针对技能含量很高的高档用户。它们还处于萌发阶段。据报道，亚马逊的云机器学习渠道Sagemaker在2018年局面缓慢，仅向商业范畴出售了1100万美元。一些云供给商正活泼与该范畴的专业第三方协作，微软参加了Databricks的2.5亿美元的E轮出资，这或许是未来收买的序幕。

除了企业人工智能渠道，横向人工智能范畴（包含核算机视觉、NLP、语音等）继续令人难以置信地充满活力。首要趋势如下：

• NLP范畴的严重改善，特别是经过搬运学习的运用（其间包含根据许多的数据练习模型，将其模型经过移植和微调的方法用于处理某个特定的问题），让它运用较少的数据就能作业：例如ELMO，ULMFit，最重要的还有谷歌的BERT。

• 业界为了用更少的数据完结人工智能做出了更多尽力，包含单样本学习(one-shot learning)。

• 深度学习与强化学习相结合。

• 生成式对立网络(GAN)的继续发展。

运用层面开展趋势

1. 企业布置ML/AI的阶段已来

2. 企业主动化和RPA的鼓起

在这个阶段，咱们或许需求3到4年的时刻来测验为企业构建ML/AI运用。

当然现已有过一些远远早于实践的为难产品测验（第一代谈天机器人）和一些严重的营销声明，特别是一些公司企图改造现有产品完结ML/AI。

可是，咱们现已逐渐进入了ML/AI在企业中的布置阶段，从猎奇和试验到实践的出产运用。未来几年的趋势好像很显着：以一个给定的问题为例，看看ML/AI（一般是深度学习，或其变体）是否会发作影响，如果是的话，构建一个AI运用程序来更有用地处理问题。

此布置阶段将以多种方法进行。一些产品将由内部团队运用上面说到的企业AI渠道来构建和布置。其他的将是由不同的供货商供给内嵌人工智能才能的全栈产品，其间的人工智能部分或许在很大程度上对客户是不行见的。还有一些将由供给混合产品和服务的供货商供给。

当然，现在还为时尚早。内部团队一般从处理一个用例（例如客户丢失猜测）开端，并开端扩展到其他问题。许多构建ML/AI运用的草创企业仍在学习克遵守研发到彻底规划化运营的应战。

可是，老练正在到来。在曩昔的几年里，关于任何期望在实践运用中布置ML/AI的人来说，都需求许多的学习，关于技能能够做什么和不能做什么，咱们开端更好地了解机器和人之间使命的正确分配。人们从第一代人工智能运用取得不少经验教训。例如，从用户视点动身，下一代客户服务谈天机器人在ML/AI与可装备性和透明性之间供给了更智能的组合。

展望未来，跟着ML/AI在高性能数据栈的支持下逐渐遍及，咱们是否看到了彻底主动化企业的曙光?

自从信息技能呈现以来，企业就被信息孤岛所困扰，各种体系和数据涣散到各个部门，彼此之间无法交流（这导致了大规划的体系集成服务职业），而人类充当了两者之间的“粘合剂”。当时数据和体系日益集成、ML/AI有才能逐渐将人类从某些功用中移除，企业彻底有或许以一种日益主动化、体系化的方法运作。

例如，假定一个主动化企业，需求的添加（ML猜测出来的）主动触发供货商订单的添加，这将主动记录在财政体系中（财政体系能够主动核算和付出补偿补贴等）；或许预期的需求下降会主动触发相应的营销开销的添加等等。

在未来的国际里，企业不只会成为彻底主动化的安排，终究还会成为自我修正和自治的安排。

可是，咱们离那个阶段还很远，今日的实践首要会集在RPA上。这是一个十分抢手的范畴，像UI Path和Automation Anywhere这样的抢先者添加得十分快，而且筹集了许多资金。

RPA是机器人进程主动化的简称（虽然或许令人绝望的是，它没有运用任何实践的机器人），触及到一般十分简略的作业流，一般是手艺的（由人类履行）和重复的，并由软件代替它们。许多RPA发作在后台办公室功用中（例如，发票处理）。

RPA是由企业数字转型的浪潮推进的，尤其是在曩昔几年里，数字转型一向在加快。一些RPA的抢先企业现已存在多年了（UiPath成立于2005年），可是当数字转化成为日常论题时，忽然受到了欢迎。RPA还供给了一个强壮的ROI，由于它的完结能够直接与人类履行相同使命的本钱进行比较。RPA对技能服务巨子也十分有吸引力，由于它触及许多的完结服务（需求完结很多不同的作业流装备）；因而，RPA草创公司从与这些大型服务公司的强壮协作关系中获益。

或许有理由置疑RPA。一些人以为这在很大程度上是不明智的“创可贴”，或许是某种权宜之计——选用由人类履行的低效作业流，让机器来完结。从这个视点来看，RPA或许仅仅在创立下一层技能债。跟着周围环境的改变，除了导致需求更多的RPA将旧使命从头装备到新环境之外，主动化的RPA功用会发作什么改变还不清楚。至少在这个阶段，RPA更多的是关于主动化而不是智能，更多的是根据规矩的处理方案而不是人工智能（虽然一些RPA供货商在营销资料中加强了他们的人工智能才能）。

RPA应该与智能主动化区别开来，智能主动化是以ML/AI为中心的新式范畴。智能主动化也以企业流程和作业流为方针，可是它更以数据为中心，而不是以流程为中心，而且终究能够学习、改善和治好。

智能主动化的一个比如是智能文档处理(ADP)，这是一个能够运用ML/AI来了解文档（表单、发票、合平等）的类别，其水平与人类适当或更好。

在未来几年调查这些范畴将特别风趣，RPA和智能主动化有或许经过并购或推出新的本乡产品进行兼并，除非后者的发展如此之快，约束了对前者的需求。