Splunk

今天邀請哲閎學長來系上演講 Splunk 的東西，他準備了 234 張投影片，講了兩小時。破紀錄的投影片張數，不過很多是例子，所以一個畫面很快就過了。

我覺得，學生真的是賺到了。在那麼短的時間內，聽到那麼多巨量資料的可能應用，然後看到可以很簡單的介面就可以做很多應用的例子。

學長首先介紹了巨量資料的概念以及 Splunk 的產品概念，之後分別從電信、金融、零售、政府單位等不同的角度去介紹巨量資料的應用，從這過程裡面，我學到很多東西。連系上其他來聽的同仁，過去他大概五點就要去接小孩，那同仁後來就是硬是把它聽到五點半。

然後ㄧ些在職生留下來問問題，不過對學長很抱歉的是，因為我 6:30 有 EMBA 的課，所以我很快就去吃飯了。後來看到ㄧ些碩士生都很快跑走。我覺得這學期聽我由 Java 介紹技術發展趨勢，和聽學長介紹巨量資料技術發展趨勢，雖然都超時，但是學生如果有印象，其實就是獲益無窮。

但是很感慨的是後來我聽ㄧ些碩士生都在講，他們覺得講得太長了 .... Orz，連我都那麼 High 的越聽越有精神，怎麼同學們感覺入寶庫空手而回。

其實看到 Splunk 的產品，讓我想到之前兩位同學想要做文數字整合查詢的機制，那大概是在 2007 年左右，那時現在已是四大會計師事務所之一的合夥人的同學，就和知名企業董事長總經理同學，就要做這樣的東西，不過那時是針對財務資料。

那時候我就覺得，要做到他們要做的事情，有很多關卡要突破，他們那時也是要針對非結構化或辦結構化的資料要做處理，然後產生自動面板。所以今天看到 Splunk 的東西時，我大概看到畫面就有被打到的感覺，因為以我的功力來說，大概過去有卡到的技術，一被點到我就恍然大悟。

我覺得，那時同學們做那個案子失敗的原因，圖形介面沒有做很好我覺得不是問題，最大的問題是它們是卡到 XML Schema 的定義，我覺得現在巨量資料在處理上，它們用更簡單且智慧的方法去處理異質資料，會比之前大家都想要用 semantic web 的概念去讓機器由 meta data 去理解資料，我覺得雖然底層難，但是當人工智慧的技術突破到一個程度，能夠自動去把ㄧ些東西做掉我覺得反而比較會成。

不過我另外一個感覺是，看到這些商用的產品，我覺得，學界和業界在 IT應用上的落差，真是越來越大了，我覺得應用和系統的題目做起來很難比上業界，因此，我應該要切到理論上面去，在數學與邏輯上突破，這可能比較有機會有發展。