一年一度Hadoop社群的盛會 DataCon.TW 在 9/30 順利舉辦且成果豐碩,協會成員們辛苦努力的在一年來克服了組織定位、場地租借、來賓邀請、議題審核等問題,隨著大會的圓滿成果,也看到了接下來大數據在台灣的發展趨勢。
由國外講者及社群專家們的議題可以看出來,接下來技術重點已經從平台的管理維護延伸到機器學習與人工智慧的應用,這個發展趨勢與整個大環境的氛圍不謀而合,現今大家關注的焦點不再僅限於系統內部的技術議題,而是有更多的想法放在應用所產生的效益,特別是這一年來風行的人工智慧主題。
不過,雖說機器學習與人工智慧是亮點,但亮點若要持續發亮,我們相信在系統維運的技術深耕還是有很大的努力空間,因為對於系統工程師而言,為了達成機器學習過程中大量數據的順暢提供,還是要從資料源頭具備處理大量 throughput 的串流機制、系統儲存有效的擺放位置與查詢效率、整體分析的效能與資訊安全之間的取捨等議題來一一解決,順暢的系統絕對不是天生的,更何況是數據量拼命成長的系統,稍有不謹慎的環節卡住,就是引發一連串的問題分析、解決、模擬測試等過程,這些議題在會場內的討論還是引發了許多的共鳴,畢竟參加會議的主要成員還是工程師,要能實際解決問題才是大家關注的焦點;也因為人工智慧的影響力,各個公司內部對於大數據平台的重視也比過往幾年還要更深,所要討論的議題也會更貼近叢集實際運作,今年整個 DataCon 呈現的都是每一個實際 use case 所衍伸的技術與應用,往年討論的 Hadoop 基本特性已經變成 common sense,作為社群的一分子,對這樣的發展真是非常有感。還有一個特別要說的,就是與 open source 社群的連結,這也是值得我們顛覆傳統思考模式的方向,”要怎麼收穫先怎麼栽”知易行難,過去幾年來亦思科技實際在開源社群的投注也將持續,期待在明年度的大會可以有機會分享這部分努力的成果。
我們預期接下來一年整個大數據在台灣的走向將是:
1. 數據分析從離線模式轉換為線上大量模式,且串流資料技術開始被重視。
2. 機器學習與人工智慧技術內化在預測系統之中
3. 大數據系統從單純的內部系統轉換成為須連結外部的分析平台,所以針對大數據平台的資訊安全議題開始受重視