從三年前的概念出現(xiàn)到如今落地實施并取得具體業(yè)務(wù)結(jié)果，Data Fabric海外爆火的背后反映了市場需求的變化。伴隨數(shù)字化和智能化的推進(jìn)，越來越多企業(yè)面臨著高成本&低價值的數(shù)據(jù)集成、不斷攀升的運維成本、不斷增長的實時數(shù)據(jù)需求等多重挑戰(zhàn)，基于主動元數(shù)據(jù)、語義、知識圖譜、數(shù)據(jù)虛擬化、AI等技術(shù)的Data Fabric成為應(yīng)對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案。

      盡管以上每一項收益都足以讓企業(yè)管理者心動，國內(nèi)卻遲遲沒有基于這項全新的關(guān)鍵技術(shù)趨勢完成系統(tǒng)化落地。曾任螞蟻集團(tuán)研究員（P10）、數(shù)據(jù)平臺部總經(jīng)理周衛(wèi)林帶領(lǐng)業(yè)界頂級數(shù)據(jù)專家團(tuán)隊創(chuàng)立Aloudata大應(yīng)科技，致力于打造首個NoETL湖倉平臺，內(nèi)置增強數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和Dataops等Gartner定義的6大Data Fabric核心能力，是當(dāng)前國內(nèi)Data Fabric最佳實踐。

      Data Fabric的終極目標(biāo)是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法。而Aloudata提出的NoETL方案，正是創(chuàng)始團(tuán)隊基于過去在螞蟻集團(tuán)建設(shè)金融級數(shù)據(jù)平臺以及EB級數(shù)據(jù)管理經(jīng)驗所提煉的Data Fabric最佳實踐，顛覆了傳統(tǒng)模式下基于ETL的數(shù)據(jù)生產(chǎn)鏈路，致力于讓企業(yè)每個人都能快速發(fā)現(xiàn)可信數(shù)據(jù)、自助分析全域數(shù)據(jù)，并實現(xiàn)主動、持續(xù)的數(shù)據(jù)治理，讓企業(yè)數(shù)據(jù)隨時就緒。

      Gartner公布的數(shù)據(jù)再次印證了這一點：分析師80%的時間用于發(fā)現(xiàn)和準(zhǔn)備數(shù)據(jù)，知識型員工將50%的時間浪費在尋找數(shù)據(jù)、發(fā)現(xiàn)和糾正錯誤以及確認(rèn)不信任的數(shù)據(jù)來源上，數(shù)據(jù)科學(xué)家花60%的時間清理和組織數(shù)據(jù)。

      NoETL問世，引領(lǐng)行業(yè)變革

      NoETL的問世，無疑將引領(lǐng)一場前所未有的行業(yè)變革。提出這一理念的同時，Aloudata還進(jìn)一步定義了具體可落地的NoETL技術(shù)標(biāo)準(zhǔn)——全場景自適應(yīng)的彈性SQL引擎Aloudata AIR Engine（以下簡稱“AIR”），以幫助企業(yè)快速啟用分析和洞察力，實現(xiàn)業(yè)務(wù)成功。

      AIR基于NoETL理念做到無論數(shù)據(jù)是在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他地方，每個人都可在Ad-hoc、多維分析、報表等多場景下自助進(jìn)行全域數(shù)據(jù)探索并定義一致的數(shù)據(jù)視圖，幫助企業(yè)實現(xiàn)100倍性能提升、10倍以上數(shù)據(jù)化運營效率提升以及30%以上存儲成本節(jié)約。

      AIR通過湖倉查詢引擎和數(shù)據(jù)虛擬化技術(shù)，實現(xiàn)多源異構(gòu)數(shù)據(jù)查詢和透明數(shù)據(jù)集成，大幅削減了數(shù)據(jù)搬運、控制了數(shù)據(jù)管道的無序增長。BI分析師減少了對ETL工程師的單向依賴，不需要再關(guān)心數(shù)據(jù)實際存放位置，也不必再搭建復(fù)雜的ETL數(shù)據(jù)管道，直接通過SQL定義彈性數(shù)據(jù)集就能夠自助對全域數(shù)據(jù)進(jìn)行數(shù)據(jù)準(zhǔn)備和分析。

      無需人工任務(wù)運維，AIR能夠通過對用數(shù)行為的收集和觀察，實現(xiàn)數(shù)據(jù)生產(chǎn)鏈路的智能編排、運維和治理，針對重復(fù)、相似計算進(jìn)行自動合并，針對無效、低頻、低價值數(shù)據(jù)的生產(chǎn)任務(wù)進(jìn)行降權(quán)或下線，以“銷”定產(chǎn)，大幅節(jié)省管理投入。

      AIR 基于用戶查詢行為實現(xiàn)了自適應(yīng)的查詢性能優(yōu)化，無需Cube/索引構(gòu)建，BI分析師可自助完成數(shù)據(jù)準(zhǔn)備，無需擔(dān)心查詢性能，專注業(yè)務(wù)分析與洞察。

      NoETL落地某大型股份制銀行：10倍提升數(shù)據(jù)化運營效率

      數(shù)據(jù)分析和報表制作環(huán)節(jié)的自助，進(jìn)一步催生了行內(nèi)數(shù)據(jù)分析需求的爆發(fā)，但前置的數(shù)據(jù)準(zhǔn)備環(huán)節(jié)卻無法同步提高產(chǎn)能，數(shù)據(jù)運營效率仍然存在顯著瓶頸。究其根本，在于該銀行現(xiàn)有的基于ETL的數(shù)據(jù)生產(chǎn)鏈路存在以下弊病：

      -當(dāng)前基于ETL的數(shù)據(jù)集成和加速方案需要對數(shù)據(jù)做大量搬運，顯著拖慢了報表的數(shù)據(jù)時效；

      可見，當(dāng)前基于ETL的數(shù)據(jù)供給模式已經(jīng)無法支撐快速增長的數(shù)據(jù)分析需求。

      為解決上述問題，該銀行基于Aloudata AIR Engine自研了敏捷數(shù)據(jù)準(zhǔn)備平臺，為全行分析師提供了全域自助找數(shù)、面向業(yè)務(wù)語義準(zhǔn)備數(shù)據(jù)、查詢自適應(yīng)加速的敏捷數(shù)據(jù)分析體驗，讓全行分析師可以端到端全自助完成數(shù)據(jù)分析需求交付，將業(yè)務(wù)取數(shù)看數(shù)效率從周級縮短到了天級，并實現(xiàn)了高性能、低時延的報表看數(shù)體驗，10倍提升全行數(shù)據(jù)化運營效率。

      Data Fabric在國外大受追捧，而在國內(nèi)剛剛起步。正如10年前大數(shù)據(jù)概念在國外興起，不到3年就被中國廣泛應(yīng)用，可以預(yù)見的是，Data Fabric在國內(nèi)也將被越來越多的企業(yè)用于解決數(shù)據(jù)資產(chǎn)多樣性、分散性、規(guī)模化和復(fù)雜性不斷增加以及數(shù)據(jù)使用人群和應(yīng)用場景爆發(fā)式增長帶來的一系列問題。

      【關(guān)于Aloudata】

<p font-size:16px;background-color:#ffffff;"="" style="margin-bottom: 10px; padding: 0px; color: rgb(68, 68, 68); line-height: 28.8px; font-family: "Microsoft YaHei"; white-space: normal; text-align: justify;">      Aloudata（浙江大應(yīng)科技）是一家NoETL湖倉平臺服務(wù)商，Data Fabric理念踐行者。公司創(chuàng)始人曾任螞蟻數(shù)據(jù)平臺部總經(jīng)理（P10），是螞蟻數(shù)據(jù)技術(shù)主要開拓者和奠基人；創(chuàng)始團(tuán)隊均為原螞蟻集團(tuán)數(shù)據(jù)平臺核心成員。Aloudata是數(shù)據(jù)湖倉架構(gòu)的先行者，自主研發(fā)的AI增強湖倉引擎可實現(xiàn)數(shù)據(jù)分析性能自適應(yīng)優(yōu)化以及數(shù)據(jù)治理“自動駕駛”，幫助企業(yè)實現(xiàn)10倍以上的數(shù)據(jù)化運營效率提升。目前，Aloudata已順利完成兩輪融資。

推薦閱讀：旗龍