去年，我(wǒ)們曾經問過大家“大數(shù)據還是個(gè)值得關注的(de)大事嗎？”，并注意到由于大數(shù)據更像是一種“系統化(huà)(huà)工程”，因此在(zài)企業的(de)接受速度方面要落後于整個(gè)業界的(de)炒作。大數(shù)據技術用(yòng)了多年時間進行(xíng)演化(huà)(huà)，才從一種看起來很酷的(de)新(xīn)技術變成企業在(zài)生産環境中實際部署的(de)核心企業級系統。
2017年，我(wǒ)們已經很适應這(zhè)樣的(de)部署階段。“大數(shù)據”這(zhè)個(gè)詞正在(zài)逐漸淡出我(wǒ)們的(de)視(shì)野，但(dàn)這(zhè)種技術本身(shēn)還在(zài)飛速擴張。各行(xíng)各業的(de)各種轶事和證據證明相關産品越來越成熟，在(zài)越來越多的(de)财富1000強企業內(nèi)開始投入實用(yòng)，很多初創公司(sī)借助這(zhè)些技術快速實現了收入增長(cháng)。
與此同時，宣傳炒作的(de)泡沫開始毋庸置疑地(dì)轉向了這(zhè)個(gè)生态系統中機器(qì)學(xué)習和人工智能等領域。過去幾個(gè)月來，人工智能領域湧現出一種“大爆炸”式的(de)集體意識，這(zhè)一情況與幾年前大數(shù)據技術的(de)“遭遇”相差無幾，不(bù)過發展速度更快。
從另一個(gè)角度來看，2017年也是激動人心的(de)一年：望穿秋水(shuǐ)的(de)IPO。今年頭幾個(gè)月，大數(shù)據領域的(de)初創公司(sī)在(zài)這(zhè)方面活動頻(pín)頻(pín)，并得到了公開市(shì)場的(de)熱切歡迎。
總的(de)來說(shuō)，數(shù)據生态系統在(zài)2017年終于實現了火(huǒ)力全開。與以往每年一樣，我(wǒ)們将通過一年一次的(de)大數(shù)據領域回顧為(wèi)大家提供一個(gè)詳細的(de)“國情咨文”，将我(wǒ)們針對這(zhè)一行(xíng)業的(de)見解總結為(wèi)關鍵趨勢奉獻給大家。
開始吧！
上層趨勢
大數(shù)據+人工智能=全新(xīn)技術棧
任何風險投資(zī)機構有幸看到的(de)各種宣傳都能證明，2016年，每家初創公司(sī)都在(zài)變身(shēn)成為(wèi)“機器(qì)學(xué)習公司(sī)”，“。ai”已成為(wèi)必備的(de)域名，而“等等，我(wǒ)們會(huì)通過機器(qì)學(xué)習技術解決這(zhè)個(gè)問題”已經開始普遍出現在(zài)各類集資(zī)活動的(de)演示文稿中。
圍繞人工智能的(de)報(bào)道(dào)、座談會(huì)、新(xīn)聞郵件(jiàn)，以及微博層出不(bù)窮，很多早已在(zài)關注機器(qì)學(xué)習技術的(de)人，他(tā)們的(de)反應就好(hǎo)(hǎo)像發現自己當地(dì)的(de)某個(gè)品牌突然開始了全球化(huà)(huà)擴張：一方面，倍感驕傲；但(dàn)另一方面，就好(hǎo)(hǎo)像面對派對上姗姗來遲又(yòu)裝腔作勢的(de)人那樣表現出明顯的(de)厭(yàn)煩之情，同時做(zuò)好(hǎo)(hǎo)了不(bù)可避免會(huì)感到失望的(de)心理(lǐ)準備。
雖然很容易認為(wèi)這(zhè)些趨勢的(de)發展非常和緩，但(dàn)該領域所經曆的(de)演變是不(bù)可避免，并且影響深遠(yuǎn)的(de)：機器(qì)學(xué)習正在(zài)快速成為(wèi)很多應用(yòng)程序中最重要的(de)組件(jiàn)。
我(wǒ)們正在(zài)見證一個(gè)新(xīn)技術棧的(de)湧現，在(zài)這(zhè)個(gè)技術棧中，大數(shù)據技術被用(yòng)于處理(lǐ)數(shù)據工程方面的(de)核心挑戰，而機器(qì)學(xué)習技術被用(yòng)于從數(shù)據中提取出價值（以分析見解或操作等形式）。
換句話說(shuō)：大數(shù)據提供了渠道(dào)，人工智能提供了我(wǒ)們需要的(de)智能。
當然，這(zhè)種共生關系并不(bù)是什麼新(xīn)事物(wù)，但(dàn)隻有少數(shù)人有幸能夠真正實現。
這(zhè)些技術正在(zài)真正開始變的(de)“民主化(huà)(huà)”。“大數(shù)據+人工智能”已經成為(wèi)很多現代化(huà)(huà)應用(yòng)（無論面向普通消費者或企業的(de)應用(yòng)）的(de)默認技術棧。大量初創公司(sī)和一些财富1000強企業都在(zài)使用(yòng)這(zhè)種新(xīn)的(de)技術棧（例如JPMorgan的(de)“ContractIntelligence”應用(yòng)）。
通常來說(shuō)，雲計(jì)算是這(zhè)個(gè)“闆凳”的(de)第三條腿，但(dàn)也并非總是如此。這(zhè)一領域的(de)發展也受到各大雲計(jì)算巨頭的(de)推動，這(zhè)些巨頭們正在(zài)舉行(xíng)一場公開的(de)戰争，争先恐後地(dì)開始提供機器(qì)學(xué)習雲（下文将詳細介紹）。
短期來看，是否可以認為(wèi)民主化(huà)(huà)會(huì)促進人工智能技術的(de)商品化(huà)(huà)？實際上從技術角度來說(shuō)，人工智能依然很難。雖然很多工程師(shī)正在(zài)争先恐後地(dì)培養有關人工智能技術的(de)技能，但(dàn)至少到目前，全球範圍內(nèi)深入鑽研這(zhè)一領域的(de)專家依然很少。
不(bù)過這(zhè)種民主化(huà)(huà)的(de)趨勢至少不(bù)會(huì)“開倒車”，機器(qì)學(xué)習技術遲早會(huì)從競争優勢“進化(huà)(huà)”成為(wèi)一必備要素。而這(zhè)種趨勢對初創公司(sī)和大企業都産生了深遠(yuǎn)的(de)影響。對于初創公司(sī)：除非你所開發的(de)人工智能軟件(jiàn)是最終産品，那麼将你自己稱呼為(wèi)一家“機器(qì)學(xué)習公司(sī)”這(zhè)樣的(de)做(zuò)法很快将變的(de)毫無意義。對于大型企業：如果目前你還沒有積極主動地(dì)制定“大數(shù)據+人工智能”的(de)戰略（自行(xíng)實現或與其他(tā)供應商合作），那麼你們很快會(huì)面臨被淘汰的(de)境地(dì)。關于大數(shù)據，這(zhè)樣的(de)說(shuō)法已經持續多年了，但(dàn)随著(zhe)以大數(shù)據技術為(wèi)基礎誕生的(de)人工智能技術飛速發展，這(zhè)一天隻會(huì)更快速地(dì)到來。
企業的(de)預算：逐利
過去多年來，在(zài)我(wǒ)們與大數(shù)據技術的(de)買家和賣家的(de)交談中，我(wǒ)們發現财富1000強公司(sī)中，越來越多的(de)預算被用(yòng)于對核心基礎架構進行(xíng)升級，以及與數(shù)據分析有關的(de)技術，大家都對大數(shù)據技術給予極大關注。很多分析機構也認同這(zhè)一結論：IDC預計(jì)，到2020年，大數(shù)據和分析市(shì)場将從2016年的(de)1300億美元市(shì)場規模增長(cháng)至2030億美元。
在(zài)大數(shù)據技術方面，财富1000強公司(sī)的(de)很多買家正變的(de)越來越成熟和理(lǐ)智。過去多年來，他(tā)們已經進行(xíng)了充分的(de)研究調研，現在(zài)已經準備好(hǎo)(hǎo)全面部署了。不(bù)僅技術型行(xíng)業，目前很多行(xíng)業均是如此。這(zhè)種飛速變化(huà)(huà)的(de)趨勢還得到了老技術自然淘汰周期的(de)進一步助推，對于大型企業，通常每隔幾年就會(huì)這(zhè)樣做(zuò)一次。曾經逆風飛揚（難以剔除或取代原有基礎架構）的(de)大數(shù)據技術現在(zài)正逐漸變的(de)順勢而飛（“我(wǒ)們需要替換過時的(de)技術，市(shì)面上最好(hǎo)(hǎo)的(de)同類技術是啥？”）。
當然，很多大企業（“晚期從衆者”）依然是大數(shù)據領域的(de)“新(xīn)手”，但(dàn)這(zhè)種情況的(de)變化(huà)(huà)速度變的(de)越來越快了。
企業數(shù)據正在(zài)陸續上雲
就在(zài)幾年前，如果你建議(yì)企業将數(shù)據遷移至公有雲，大企業的(de)CIO給你的(de)回應大部分隻會(huì)是“除非我(wǒ)死了”，當時他(tā)們頂多隻願意将開發環境，或各種稀奇古怪，非關鍵的(de)對外應用(yòng)程序遷移至雲端。但(dàn)現在(zài)他(tā)們的(de)看法似乎開始産生變化(huà)(huà)了，去年以來這(zhè)種變化(huà)(huà)非常明顯。我(wǒ)們聽(tīng)到了一種更為(wèi)開放的(de)心态：大家已經逐漸認識到“反正我(wǒ)們的(de)客戶數(shù)據本來就已經保存在(zài)Salesforce的(de)雲中”，或者“在(zài)網絡安全的(de)預算方面，我(wǒ)們的(de)投入與AWS壓根兒沒得比”，而諷刺的(de)是，過去多年來，對安全的(de)顧慮曾是企業接受雲計(jì)算的(de)主要障礙之一，但(dàn)雲供應商在(zài)安全與合規（HIPAA）等方面的(de)辛苦努力終于得到了證明和回報(bào)。
毫無疑問，目前離(lí)大部分企業數(shù)據都保存在(zài)公有雲中這(zhè)一目标還有一定距離(lí)，但(dàn)部分原因在(zài)于遺留系統和管控制度。
然而演變的(de)趨勢是明顯的(de)，并且越來越快。雲供應商會(huì)盡一切努力促進這(zhè)一過程，甚至提供搬運海量數(shù)據的(de)卡車。
2017大數(shù)據全景
言歸正傳，我(wǒ)們想象中2017年大數(shù)據領域的(de)全景是這(zhè)樣的(de)。
1、我(wǒ)們放大看看開源技術部分：
2、當然，今年我(wǒ)在(zài)FirstMark的(de)同事JimHao也對此圖的(de)制作提供了巨大的(de)幫助。
合并工作開始了嗎？
大數(shù)據領域每一年都變的(de)更加熱鬧，因此這(zhè)就造成了一個(gè)顯而易見的(de)問題：這(zhè)個(gè)行(xíng)業是否迎來了大規模并購的(de)風潮？
似乎還沒，至少目前還看不(bù)出這(zhè)樣的(de)趨勢。
首先，風投們會(huì)繼續愉快地(dì)注資(zī)各家新(xīn)老公司(sī)。2017年頭幾個(gè)月，為(wèi)成長(cháng)階段的(de)大數(shù)據初創公司(sī)注入巨資(zī)的(de)消息此起彼伏：Looker（D輪，8100萬美元）、InsideSales（F輪，5千萬美元）、DataRobot（C輪，5400萬美元）、Confluent（C輪，5千萬美元）、Collibra（C輪，5千萬美元）、Uptake（C輪，4千萬美元）、WorkFusion（D輪，3500萬美元），以及MapD（B輪，3500萬美元）。另外DataBricks非常值得注意，他(tā)們在(zài)2016年12月剛獲得6千萬美元的(de)C輪投資(zī)。全球範圍內(nèi)，大數(shù)據初創公司(sī)在(zài)2016年得到了風投機構總計(jì)148億美元的(de)投資(zī)，其中10%由全球性的(de)技術VC提供。
另外需要注意，該領域的(de)相關投資(zī)大多是全球性的(de)，歐洲、以色列（如VoyagerLabs）、中國（iCarbonX）等地(dì)均有大量公司(sī)成立并獲得注資(zī)。
其次，2016年全景中曾經提到，并購活動已在(zài)有序進行(xíng)，但(dàn)沒有特别讓人印象深刻的(de)，也許部分原因在(zài)于私營公司(sī)的(de)估值始終居高(gāo)不(bù)下。我(wǒ)們在(zài)2016年大數(shù)據全景中曾經提到，共有41家公司(sī)被并購（完整清單請(qǐng)參閱文末備注），2017年，并購的(de)節奏大體上會(huì)與去年持平。
另一方面，2017年至今已經出現了一些非常大的(de)并購活動，例如Mobileye（被Intel以153億美元收購）、AppDynamics（思科(kē)，37億美元），以及NimbleStorage（HPE，12億美元）。
去年還曾出現過一種較為(wèi)普遍但(dàn)并不(bù)持久的(de)現象：大型技術公司(sī)瘋狂并吞人工智能領域的(de)初創公司(sī)，尤其是專為(wèi)各種水(shuǐ)平問題（Horizontalproblem）組建了團隊的(de)公司(sī)。例如：Turi（Apple）、MagicPony（Twitter）、VivLabs（三星）、MetaMind（Salesforce）、GeometricIntelligence（Uber）、API.ai（Google），以及Wise.io（GE）。雖然這(zhè)些舉措使得主要針對水(shuǐ)平領域的(de)人工智能初創公司(sī)快速成為(wèi)VC眼中的(de)香饽饽，但(dàn)這(zhè)種不(bù)假思索的(de)快速收購可能也對應著(zhe)各種炒作，以及人工智能領域工程師(shī)的(de)缺乏所造成的(de)特殊時間段。
第三，一些大型大數(shù)據初創公司(sī)正在(zài)變成獨立的(de)上市(shì)公司(sī)。SNAP可以說(shuō)是帶動了技術公司(sī)IPO市(shì)場的(de)複蘇，但(dàn)截至目前，能夠借助該機會(huì)成功變現的(de)依然隻有大數(shù)據領域的(de)公司(sī)。
雖然2016年全年，隻有Talend這(zhè)一家大數(shù)據公司(sī)成功上市(shì)，但(dàn)2017年截至目前這(zhè)一領域內(nèi)滿是IPO良機。Mulesoft和Alteryx成功上市(shì)并且表現還不(bù)錯，這(zhè)兩家的(de)發行(xíng)價都超過了IPO價格。在(zài)撰寫本文時，Cloudera也即将上市(shì)，該公司(sī)最新(xīn)預估價（41億美元）與營收（2016年2.61億美元）之間的(de)空缺對于“獨角獸”的(de)估價現象将造成不(bù)小的(de)考驗。此外MapR以及位置智能公司(sī)Yext也正在(zài)準備上市(shì)。
接下來會(huì)是誰？多年來，Palantir作為(wèi)業內(nèi)最低調的(de)公司(sī)之一，已經表達出想要公開上市(shì)的(de)意圖。考慮到Palantir的(de)最新(xīn)預估價為(wèi)200億美元，如果其公開估價能夠接近(jìn)這(zhè)一數(shù)字，将會(huì)成為(wèi)IPO領域的(de)一枚重磅炸彈。
打響雲端戰役
失敗和收購活動也許不(bù)會(huì)讓這(zhè)個(gè)行(xíng)業立刻得到鞏固，但(dàn)“功能合并”的(de)情況日漸普遍，尤其是在(zài)雲計(jì)算領域。該領域內(nèi)一些重量級選手正在(zài)逐漸構建整合式的(de)“大數(shù)據+人工智能”服(fú)務(wù)，并且吸引了不(bù)少用(yòng)戶，這(zhè)些服(fú)務(wù)或者使用(yòng)了自行(xíng)開發的(de)産品，或通過流行(xíng)的(de)開源計(jì)算引擎自行(xíng)實現，這(zhè)種服(fú)務(wù)距離(lí)很多買家所期待的(de)“一站式購買”越來越近(jìn)了。
尤其是AmazonWebServices還在(zài)繼續快速發布不(bù)同類型的(de)産品，讓人獲得了深刻的(de)印象。目前該公司(sī)已經圍繞大數(shù)據和人工智能技術提供了幾乎所有産品，包括分析框架、實時分析、數(shù)據庫（NoSQL、圖形等）、商業智能，以及日益完善的(de)人工智能能力，并且在(zài)深度學(xué)習方面頗有建樹(shù)（完整清單可參閱這(zhè)裡(lǐ)）。按照(zhào)這(zhè)樣的(de)速度，AWS很快将具備我(wǒ)們的(de)大數(shù)據全景中所涉及的(de)幾乎所有基礎架構和分析産品。
雖然Google涉足雲計(jì)算的(de)時間較晚，但(dàn)他(tā)們正在(zài)圍繞大數(shù)據積極主動地(dì)構建一系列産品（BigQuery、Dataflow、Dataproc、Datalab、Dataprep等），并且已将人工智能視(shì)作超越競争對手的(de)方法之一。過去一年來，Google在(zài)人工智能方面公布了很多消息，例如：一個(gè)新(xīn)的(de)轉換引擎，雇傭了兩名出色的(de)人工智能專家Fei-FeiLi和JiaLi來領導新(xīn)成立的(de)CloudAIandMachineLearning部門(mén)，針對視(shì)頻(pín)識别提供的(de)全新(xīn)機器(qì)學(xué)習API（這(zhè)裡(lǐ)），并且收購了數(shù)據科(kē)學(xué)家社區(qū)Kaggle。
更大規模的(de)企業級IT供應商–尤其是Microsoft、IBM、SAP、Oracle以及Salesforce–也在(zài)努力推出大數(shù)據（以及人工智能）産品，這(zhè)些産品都支持雲端（最引人注目的(de)是Microsoft）和本地(dì)部署。除了通過自行(xíng)開發，以及收購而來的(de)技術構建這(zhè)些産品，他(tā)們的(de)合作意願也在(zài)逐漸加強，尤其是與“有數(shù)據的(de)”公司(sī)（數(shù)據倉儲）和“有人工智能的(de)”公司(sī)進行(xíng)合作。例如IBM和Salesforce以及SAP與Google的(de)合作都是其中的(de)典型。
按照(zhào)企業IT行(xíng)業的(de)标準來說(shuō)，雲供應商的(de)規模依然不(bù)算大，但(dàn)這(zhè)些公司(sī)的(de)野心（包括在(zài)企業技術棧中，将自己的(de)地(dì)位從IaaS層面上升至應用(yòng)程序層面的(de)明确意圖）和穩紮穩打将企業數(shù)據遷往雲端的(de)做(zuò)法相結合，意味著(zhe)與傳統IT供應商的(de)全面戰争已然打響，大家在(zài)争奪龐大的(de)企業級技術市(shì)場的(de)控制權，而大數(shù)據和人工智能将會(huì)是核心戰場。
大數(shù)據生态系統全景回顧
基礎架構
去年發生的(de)很多事依舊餘波未平，例如流處理(lǐ)的(de)重要性與日俱增，目前Spark已獨占鳌頭，但(dàn)人們對競争産品，例如Flink的(de)關注也逐漸開始湧現。此外還有一的(de)有趣的(de)話題時不(bù)時地(dì)出現在(zài)人們的(de)對話中：
SQL已經正式回歸了
過去十多年來一直面對NoSQL技術“打壓”的(de)SQL數(shù)據庫技術現已正式回歸。Google最近(jìn)發布了雲服(fú)務(wù)版的(de)Spanner數(shù)據庫。Spanner和CockroachDB（Spanner的(de)開源版本）承諾提供一種高(gāo)存活性、強一緻性，可橫向擴展的(de)SQL數(shù)據庫。Amazon發布的(de)Athena與諸如Snowflake等産品類似，是一種大型的(de)SQL數(shù)據引擎，可直接查詢S3Bucket中存儲的(de)數(shù)據。GoogleBigQuery、SparkSQL以及Presto也開始在(zài)企業領域占有了一席之地(dì)–這(zhè)些都是SQL産品。
數(shù)據虛拟化(huà)(huà)
在(zài)公有雲的(de)接受度方面有個(gè)有趣的(de)趨勢：數(shù)據虛拟化(huà)(huà)産品的(de)使用(yòng)率正在(zài)快速激增。較為(wèi)古老的(de)ETL流程需要移動海量數(shù)據（并且通常需要為(wèi)數(shù)據集創建副本）并創建數(shù)據倉庫，數(shù)據虛拟化(huà)(huà)技術使得企業可以無需移動，在(zài)原地(dì)進行(xíng)數(shù)據分析，借此提高(gāo)速度和敏捷性。很多下一代數(shù)據分析産品供應商，現在(zài)均已同時提供數(shù)據虛拟化(huà)(huà)和數(shù)據準備産品，借此幫助客戶更輕松地(dì)訪問雲中存儲的(de)數(shù)據。
數(shù)據管控和安全性
随著(zhe)大數(shù)據在(zài)企業中的(de)應用(yòng)日益成熟，并且數(shù)據的(de)種類和數(shù)量依然在(zài)與日俱增，有關數(shù)據管控之類的(de)話題也變的(de)越來越重要。很多企業已經選擇通過“數(shù)據湖”的(de)方式創建一個(gè)中央倉庫，用(yòng)于保存自己的(de)所有數(shù)據。但(dàn)除非人們知道(dào)數(shù)據湖中到底有什麼，并且能按需訪問分析工作所需的(de)恰當數(shù)據，否則數(shù)據湖将全無用(yòng)處。然而幫助用(yòng)戶輕松找到自己需要的(de)數(shù)據，同時妥善地(dì)管理(lǐ)數(shù)據訪問權，這(zhè)一點并不(bù)容易實現。
不(bù)僅需要考慮數(shù)據湖本身(shēn)，管控的(de)一個(gè)核心主題在(zài)于讓用(yòng)戶輕松訪問可信賴的(de)數(shù)據，借此滿足企業中任何人的(de)需求，同時必須要以安全、可審計(jì)的(de)方式做(zuò)到這(zhè)一切。或大或小的(de)供應商（Informatica、Collibra、Alation）紛紛提供功了數(shù)據編錄、參考數(shù)據管理(lǐ)、數(shù)據辭典，以及數(shù)據幫助台等産品。
分析
數(shù)據科(kē)學(xué)家是否已經成為(wèi)瀕危物(wù)種？
就在(zài)幾年前，數(shù)據科(kē)學(xué)家還被視(shì)作“21世紀最性感的(de)職業”。就算到現在(zài)，Glassdoor的(de)“美國最佳工作”清單中，“數(shù)據科(kē)學(xué)家”依然名列榜首。
但(dàn)是僅僅在(zài)誕生幾年後，這(zhè)個(gè)職業就已陷入困頓。部分原因在(zài)于其必要性，雖然學(xué)校和程序員課程依然在(zài)塑造大量粗制濫造的(de)新(xīn)手數(shù)據科(kē)學(xué)家，但(dàn)這(zhè)個(gè)崗位依然有很大空缺，尤其是财富1000強公司(sī)，他(tā)們都覺得很難招募到頂尖的(de)技術人才。在(zài)某些組織中，數(shù)據科(kē)學(xué)部門(mén)已經從原本的(de)促進者一舉“堕落”為(wèi)瓶頸。
與此同時，随著(zhe)人工智能技術的(de)民主化(huà)(huà)和自服(fú)務(wù)工具的(de)飛速湧現，現在(zài)無論數(shù)據科(kē)學(xué)技能極為(wèi)有限的(de)數(shù)據工程師(shī)，甚至非技術型的(de)數(shù)據分析師(shī)，都已經可以承擔原本隻能由數(shù)據科(kē)學(xué)家負責的(de)基本任務(wù)。企業中與大數(shù)據有關的(de)很多工作，尤其是枯燥乏味的(de)簡單工作，也許會(huì)越來越多地(dì)開始由數(shù)據工程師(shī)和數(shù)據分析師(shī)通過自動化(huà)(huà)工具來執行(xíng)，而不(bù)再需要具備娴熟技能的(de)數(shù)據科(kē)學(xué)家參與。
也就是說(shuō)，數(shù)據科(kē)學(xué)最終可能會(huì)完全由機器(qì)來處理(lǐ)。一些初創公司(sī)已經明确将自己的(de)産品定位為(wèi)“自動化(huà)(huà)的(de)數(shù)據科(kē)學(xué)”，其中最值得一提的(de)是，DataRobot剛剛通過這(zhè)種想法籌集到5400萬美元投資(zī)（數(shù)據科(kē)學(xué)如何實現自身(shēn)的(de)自動化(huà)(huà)），SalesforceEinstein也聲稱自己可以提供能自動生成的(de)模型。
毫無疑問，這(zhè)些趨勢尚未流行(xíng)起來，目前在(zài)數(shù)據科(kē)學(xué)的(de)社區(qū)裡(lǐ)依然存在(zài)一些争議(yì)。然而數(shù)據科(kē)學(xué)家目前還不(bù)需要對此過于擔心。在(zài)不(bù)遠(yuǎn)的(de)将來，自服(fú)務(wù)工具和自動化(huà)(huà)模型選擇将成為(wèi)數(shù)據科(kē)學(xué)家的(de)“左膀右臂”，而非徹底取代他(tā)們，他(tā)們可以将更多精力用(yòng)于需要進行(xíng)判斷、創新(xīn)、社交技能，或需要具備垂直行(xíng)業知識的(de)任務(wù)。
讓一切協同工作：數(shù)據工作台的(de)崛起
在(zài)大部分大型企業中，大數(shù)據技術的(de)運用(yòng)通常都是從少數(shù)相對獨立的(de)項目開始的(de)（這(zhè)裡(lǐ)部署個(gè)Hadoop群集，那裡(lǐ)部署個(gè)分析工具），并且會(huì)産生一些新(xīn)的(de)工作崗位（數(shù)據科(kē)學(xué)家、首席數(shù)據官）。
然而今天的(de)情況截然不(bù)同：異構的(de)情況愈加普遍，企業內(nèi)部使用(yòng)了五花(huā)八門(mén)的(de)工具。從組織結構方面來看，在(zài)大型企業中，集中化(huà)(huà)的(de)“數(shù)據科(kē)學(xué)部門(mén)”正在(zài)逐漸變成更加“分散化(huà)(huà)的(de)組織”，通常會(huì)有數(shù)據科(kē)學(xué)家、數(shù)據工程師(shī)，以及數(shù)據分析師(shī)組成的(de)跨職能群體，并且更加深入地(dì)融入到不(bù)同業務(wù)部門(mén)中。因此對于平台來說(shuō)，需求已經變的(de)更加明确，需要讓所有人能夠就各種技術進行(xíng)協同工作，這(zhè)一點在(zài)我(wǒ)們去年的(de)文章中就有提及，大數(shù)據項目能否成功，主要取決于能否将不(bù)同技術、人員和流程完美融合在(zài)一起。
因此協作平台這(zhè)一領域目前正在(zài)經曆快速發展，并催生出一種被部分人稱作DataOps（類似于DevOps）的(de)概念。FirstMark也正是出于這(zhè)個(gè)原因而投資(zī)了Dataiku（可參閱我(wǒ)的(de)上一篇文章：Dataiku，亦或早熟的(de)大數(shù)據）。這(zhè)一領域其他(tā)比較重大的(de)投資(zī)包括Knime（A輪，2千萬美元）以及DominoDataLab（A輪1千萬美元）。Cloudera剛剛發布了一款基于所收購的(de)Sense技術開發的(de)工作台産品。這(zhè)一領域的(de)開源活動也很活躍，例如Jupyter和Anaconda。
應用(yòng)程序
人工智能驅動的(de)垂直應用(yòng)程序
至少幾年前，我(wǒ)們就開始讨論垂直領域人工智能應用(yòng)程序的(de)崛起（x.ai以及人工智能驅動的(de)應用(yòng)程序逐漸湧現），但(dàn)原本的(de)溪流何時演變成了現在(zài)的(de)滔天巨浪？突然之間，似乎每個(gè)人都開始開發人工智能應用(yòng)程序了，無論新(xīn)成立的(de)，或已經取得重大進展的(de)初創公司(sī)，都開始壓賭于人工智能，認為(wèi)這(zhè)是下一輪增長(cháng)點（例如InsideSales）。
在(zài)這(zhè)種狀況和趨勢影響下，一些新(xīn)成立的(de)初創公司(sī)提出了很多激動人心的(de)技術，雖然其中一些猶如霧裡(lǐ)看花(huā)，但(dàn)為(wèi)了追逐熱點趨勢，也有很多公司(sī)在(zài)激進地(dì)進行(xíng)重塑。在(zài)某些領域使用(yòng)了某種機器(qì)學(xué)習技術的(de)公司(sī)，并不(bù)算人工智能公司(sī)。
總地(dì)來說(shuō)，人工智能初創公司(sī)的(de)創建并不(bù)容易。而其中最關鍵的(de)第一步在(zài)于選擇一個(gè)垂直領域所面臨的(de)問題。除了深入的(de)技術DNA，還需要深思熟慮的(de)定位和策略（構建人工智能初創公司(sī)：現實和策略）。
然而要确保自己不(bù)被各種可能性看花(huā)眼，面對飛速的(de)發展保持冷靜(jìng)，要做(zuò)到這(zhè)些其實很難。
尤其是去年，趨勢已經很明顯了：通過人工智能技術，解決與數(shù)據有關的(de)任何問題。無論企業級應用(yòng)程序或垂直行(xíng)業，都采取了這(zhè)樣的(de)方式。考慮到現實情況，今年我(wǒ)們在(zài)圖表的(de)應用(yòng)程序分類中添加了多個(gè)類别，包括交通運輸、房(fáng)地(dì)産（借助數(shù)據科(kē)學(xué)實現房(fáng)地(dì)産的(de)現代化(huà)(huà)），以及保險業。同時我(wǒ)們将一些非常活躍的(de)行(xíng)業拆分為(wèi)兩個(gè)類别，例如營銷應用(yòng)（拆分為(wèi)B2B和B2C）以及生命科(kē)學(xué)（拆分為(wèi)醫(yī)療健康和生命科(kē)學(xué)）。
除了這(zhè)些領域外，還有一些非常新(xīn)潮的(de)應用(yòng)（例如無人駕駛汽車），今天的(de)人工智能技術正在(zài)缺乏想象力的(de)企業應用(yòng)領域閃爍著(zhe)耀眼的(de)光輝，從人員流失預測到後端辦公室自動化(huà)(huà)，再到安全，以不(bù)同形式提供了切實可行(xíng)的(de)收效。
人工智能導緻人類失業，也許還沒有得到政府部門(mén)的(de)重視(shì)，但(dàn)沒有任何一個(gè)職業是不(bù)受影響的(de)，至少需要考慮會(huì)如何受到影響，也許會(huì)通過人工智能得以“增強”。這(zhè)些問題已得到很多白領職業的(de)證明，例如醫(yī)生（人工智能vs醫(yī)生）或律師(shī)（人工智能開始從事法務(wù)工作）。
尤其是金融領域，似乎充分考慮了人工智能的(de)潛力。多年來艱難度日的(de)對沖基金正在(zài)為(wèi)自己的(de)算法尋找可替代數(shù)據（全新(xīn)淘金潮？華爾街想要你的(de)數(shù)據）。由人工智能驅動的(de)全新(xīn)對沖基金（Numerai、DataCapitalManagement等）雖然還不(bù)完善，但(dàn)已經實現了快速發展。華爾街一些最重要的(de)事務(wù)所均在(zài)使用(yòng)人工智能取代人類（BlackRock、GoldmanSachs）。
機器(qì)人的(de)反擊
無論是愛是恨，2016年都是機器(qì)人的(de)元年。很多消息交流服(fú)務(wù)均提供過完全自動化(huà)(huà)，可以實時交談的(de)代理(lǐ)程序。雖然昙花(huā)一現，但(dàn)這(zhè)些機器(qì)人程序似乎已經全面經曆了不(bù)同的(de)炒作周期，從一開始的(de)承諾，到Tay所面臨的(de)災難（譯注：Tay是微軟提供的(de)一種基于人工智能技術的(de)聊天機器(qì)人，該機器(qì)人一經上線，與衆多網友交流後，變成了“帶有種族歧視(shì)傾向并且固執的(de)存在(zài)”），到微型文藝複興，再到Facebook相關研究放緩，有報(bào)告稱聊天平台上70%的(de)人工智能聊天機器(qì)人最終都以失敗告終。
對于機器(qì)人程序的(de)熱情似乎有些早，得出這(zhè)種結論的(de)原因有很多，建議(yì)參閱BradfordCross的(de)觀點，他(tā)在(zài)文中非常恰當地(dì)指出，人們可能因為(wèi)機器(qì)人程序在(zài)亞洲的(de)崛起，或者Slack等底層基礎架構的(de)快速增長(cháng)而得出了過于樂觀的(de)預期。我(wǒ)們相信，最終這(zhè)種機器(qì)人程序有著(zhe)很大的(de)潛力，但(dàn)畢竟這(zhè)一領域還需要更長(cháng)的(de)成長(cháng)時間。“生産商”一端（初創公司(sī)需要專注于每個(gè)具體的(de)業務(wù)領域，少作承諾）和“消費方”一端（我(wǒ)們都需要習慣于機器(qì)人程序可以和不(bù)能做(zuò)到的(de)事情，Alexa正在(zài)幫助我(wǒ)們意識到這(zhè)些！）都需要進行(xíng)徹底的(de)心态調整。
就目前來看，最光明的(de)未來可能屬于重要領域需要人類介入的(de)服(fú)務(wù)，或者完全采取不(bù)同于機器(qì)人程序的(de)定位，使用(yòng)人工智能技術擴充人類能力的(de)技術（我(wǒ)們得出這(zhè)一結論的(de)依據來自frame.ai）。
寫在(zài)最後
大數(shù)據與人工智能強強聯合，我(wǒ)們即将進入“收獲”的(de)季節。忽略各種炒作，我(wǒ)們迎來了數(shù)量衆多的(de)可能性。
随著(zhe)核心基礎架構以及應用(yòng)程序端日漸成熟，人工智能技術驅動的(de)應用(yòng)将迎來井噴期，2017年，大數(shù)據（以及人工智能）生态幾将火(huǒ)力全開。
獲取更多專業資(zī)訊
微信掃一掃
在(zài)線客服(fú)