大數據三個重要的技術問題

大數據三個重要的技術問題

工程師日記 2013-08-25 00:15

編者按:本文來自石勇,他是中國科學院虛擬經濟與數據科學研究中心常務副主任、中國科學院大學管理學院副院長;中國科學院“百人計劃”獲得者;第一位也是截至目前唯一一位獲得多目標決策領域國際最高學術獎項“康托學術獎”的大陸學者。

當今,大數據的到來,已經成為現實生活中無法逃避的挑戰。

每當我們要做出決策的時候,大數據就無處不在。

大數據術語廣泛地出現也使得人們漸漸明白了它的重要性。

大數據漸漸向人們展現了它為學術、工業和政府帶來的巨大機遇。

與此同時,大數據也向參與的各方提出了巨大的挑戰,首先是三個重要的技術問題:

一、如何利用信息技術等手段處理非結構化和半結構化數據

大數據中,結構化數據只佔15% 左右,其餘的85% 都是非結構化的數據,它們大量存在於社交網絡、互聯網和電子商務等領域。

另一方面,也許有90% 的數據來自開源數據,其餘的被存儲在數據庫中。

大數據的不確定性表現在高維、多變和強隨機性等方面。

股票交易數據流是不確定性大數據的一個典型例子。

大數據刺激了大量研究問題。

非結構化和半結構化數據的個體表現、一般性特徵和基本原理尚不清晰,這些都需要通過包括數學、經濟學、社會學、計算機科學和管理科學在內的多學科交叉來研究和討論。

給定一種半結構化或非結構化數據,比如圖像,如何把它轉化成多維數據表、面向對象的數據模型或者直接基於圖像的數據模型?值得注意的是,大數據每一種表示形式都僅呈現數據本身的側面表現,並非全貌。

如果把通過數據挖掘提取“粗糙知識”的過程稱為“一次挖掘”過程,那麼將粗糙知識與被量化後主觀知識,包括具體的經驗、常識、本能、情境知識和用戶偏好,相結合而產生“智能知識”過程就叫做“二次挖掘”。

從“一次挖掘”到“二次挖掘”類似事物“量”到“質”的飛躍。

由於大數據所具有的半結構化和非結構化特點,基於大數據的數據挖掘所產生的結構化的“粗糙知識”(潛在模式)也伴有一些新的特徵。

這些結構化的粗糙知識可以被主觀知識加工處理並轉化,生成半結構化和非結構化的智能知識。

尋求“智能知識”反映了大數據研究的核心價值。

二、如何探索大數據複雜性、不確定性特徵描述的刻畫方法及大數據的系統建模

這一問題的突破是實現大數據知識發現的前提和關鍵。

從長遠角度來看,依照大數據的個體複雜性和隨機性所帶來的挑戰將促使大數據數學結構的形成,從而導致大數據統一理論的完備。

從短期而言,學術界鼓勵發展一種一般性的結構化數據和半結構化、非結構化數據之間的轉化原則,以支持大數據的交叉工業應用。

管理科學,尤其是基於最優化的理論將在發展大數據知識發現的一般性方法和規律性中發揮重要的作用。

大數據的複雜形式導致許多對“粗糙知識”的度量和評估相關的研究問題。

已知的最優化、數據包絡分析、期望理論、管理科學中的效用理論可以被應用​​到研究如何將主觀知識融合到數據挖掘產生的粗糙知識的“二次挖掘”過程中。

這里人機交互將起到至關重要的作用。

三、數據異構性與決策異構性的關係對大數據知識發現與管理決策的影響

由於大數據本身的複雜性,這一問題無疑是一個重要的科研課題,對傳統的數據挖掘理論和技術提出了新的挑戰。

在大數據環境下,管理決策面臨著兩個“異構性”問題:“數據異構性”和“決策異構性”。

傳統的管理決定模式取決於對業務知識的學習和日益積累的實踐經驗,而管理決策又是以數據分析為基礎的。

大數據已經改變了傳統的管理決策結構的模式。

研究大數據對管理決策結構的影響會成為一個公開的科研問題。

除此之外,決策結構的變化要求人們去探討如何為支持更高層次的決策而去做​​“二次挖掘”。

無論大數據帶來了哪種數據異構性,大數據中的“粗糙知識”仍可被看作“一次挖掘”的範疇。

通過尋找“二次挖掘”產生的“智能知識”來作為數據異構性和決策異構性之間的橋樑是十分必要的。

探索大數據環境下決策結構是如何被改變的,相當於研究如何將決策者的主觀知識參與到決策的過程中。

大數據是一種具有隱藏法則的人造自然,尋找大數據的科學模式將帶來對研究大數據之美的一般性方法的探究,儘管這樣的探索十分困難,但是如果我們找到了將非結構化、半結構化數據轉化成結構化數據的方法,已知的數據​​挖掘方法將成為大數據挖掘的工具。

以上是我對大數據的三個重要技術問題進行研究的一些心得,也僅僅是一個研究大數據挑戰的起點。

除此之外,還有一些數據科學的問題,包括在獲得數據和從數據中產生規則方面可能存在的公理體系,基於數據庫的知識發現規則與基於開放數據源的知識發現規則以及大數據挖掘的整體和(或)局部解的存在性問題等等。

在不久的將來,我相信這些問題都需要去仔細研究,以獲得突破性科研與應用成果。

掃描下面二維碼關注微信公眾賬號“大數據學院”,另36 ​​氪正聯合中科院虛擬經濟與數據科學研究中心開展大數據系列培訓,第一期主題為關注大數據在互聯網中的應用,感興趣的朋友可以點擊這裡了解詳情

熱門文章
海鮮公司變電箱下挖「密道」偷電 電費大減437萬度竊得2702萬元
海鮮公司變電箱下挖「密道」偷電 電費大減437萬度竊得2702萬元

CTWANT

新竹疑爆「大規模食物中毒」!補習班出事 52學童集體吐瀉
新竹疑爆「大規模食物中毒」!補習班出事 52學童集體吐瀉

TVBS新聞網

寶林老闆黎仿軒遭起底!開369萬頂級休旅車 欠千萬轉戰餐飲出人命
寶林老闆黎仿軒遭起底!開369萬頂級休旅車 欠千萬轉戰餐飲出人命

中天新聞

好有錢!台灣7千人擁「10億超高資產」 總規模高達15兆
好有錢!台灣7千人擁「10億超高資產」 總規模高達15兆

藝點新聞

電線短路爆開!高雄三民大片柏油路遭「掀起」 已將部分道路封鎖
電線短路爆開!高雄三民大片柏油路遭「掀起」 已將部分道路封鎖

CTWANT

中毒案奪2命!他揪公司餐驚「寶林員工全逃過」 餐飲業內幕曝
中毒案奪2命!他揪公司餐驚「寶林員工全逃過」 餐飲業內幕曝

TVBS新聞網

寶林2死!台大醫喊避免「這種飯、麵」重複加熱 米酵菌酸更猛爆
寶林2死!台大醫喊避免「這種飯、麵」重複加熱 米酵菌酸更猛爆

TVBS新聞網

郵局發錢了!學生、家長嗨領「最高3千元」 錯過捶心肝
郵局發錢了!學生、家長嗨領「最高3千元」 錯過捶心肝

TVBS新聞網

連假必備!他激推好市多「這零嘴」現折100:一次掃兩箱
連假必備!他激推好市多「這零嘴」現折100:一次掃兩箱

TVBS新聞網

寶林炒粿條超恐怖!造成「全面性細胞死亡」 醫:常見粒腺體毒素就是氰化物
寶林炒粿條超恐怖!造成「全面性細胞死亡」 醫:常見粒腺體毒素就是氰化物

中天新聞

水逆凶狠殺到!5星座「災厄纏身」受重擊 牡羊最慘倒大楣了
水逆凶狠殺到!5星座「災厄纏身」受重擊 牡羊最慘倒大楣了

TVBS新聞網

女警想請假遭疑裝病「檢查出癌症四期」 所長刁難才給假…下場出爐
女警想請假遭疑裝病「檢查出癌症四期」 所長刁難才給假…下場出爐

CTWANT

清明節禁忌!4生肖容易「卡到陰」勿亂跑 不小心恐沖煞
清明節禁忌!4生肖容易「卡到陰」勿亂跑 不小心恐沖煞

中天新聞

獨家/汪小菲求婚成功!示愛新歡Mandy:我的老婆來自台北
獨家/汪小菲求婚成功!示愛新歡Mandy:我的老婆來自台北

CTWANT

他時常蕁麻疹發作,竟是「1提神飲品」惹禍! 不少人早上都要喝
他時常蕁麻疹發作,竟是「1提神飲品」惹禍! 不少人早上都要喝

健康醫療網

「寶林茶室」出事粿條黎仿軒也有吃! 爸媽還打包回家
「寶林茶室」出事粿條黎仿軒也有吃! 爸媽還打包回家

中天新聞

郵局發獎學金!壽險保戶子女獎學金4/1日起申請 最高可領3千元
郵局發獎學金!壽險保戶子女獎學金4/1日起申請 最高可領3千元

中天新聞

遶境路線曝!台南鹿耳門土城香4月12日登場 廟方免費贈千條絲巾
遶境路線曝!台南鹿耳門土城香4月12日登場 廟方免費贈千條絲巾

中天新聞

新竹冰沙「陷食安風波」?多人發燒嘔吐 衛生局派員稽查
新竹冰沙「陷食安風波」?多人發燒嘔吐 衛生局派員稽查

TVBS新聞網

詭異!寶林茶室「只有3/20沒人中毒」 專家曝2可能原因
詭異!寶林茶室「只有3/20沒人中毒」 專家曝2可能原因

中天新聞

76
0
分享