注：本文是福布斯中文網“數(shù)據(jù)大玩家”專欄中的一篇文章。接受提問的蔣杰先生，是騰訊數(shù)據(jù)平臺部總經理，在加入騰訊前，他曾經是支付寶的數(shù)據(jù)經理。提問的車品覺先生，是中國信息協(xié)會大數(shù)據(jù)分會副會長。

　　在過去幾年，你在騰訊做了什么來推動大數(shù)據(jù)的應用?

　　過去三年，我一直在堅持一件事：推動大數(shù)據(jù)的實時應用。現(xiàn)在從國外數(shù)據(jù)中心的數(shù)據(jù)，一秒鐘可以達到深圳數(shù)據(jù)中心，這就是騰訊具備的數(shù)據(jù)能力。有了這個能力，就可以做很多商業(yè)化行為的模式。

　　目前騰訊收集的數(shù)據(jù)已經超過了1萬億條， 計算機規(guī)模已經超過了8千8百臺。這么龐大的數(shù)據(jù)如果能實時處理，就能發(fā)揮出巨大的商業(yè)價值。這個商業(yè)價值就是精準推薦。

　　每年騰訊幾十億的廣告，其基礎來自于數(shù)據(jù)的精準推薦。實時數(shù)據(jù)推薦還可以用于視頻的推薦，騰訊音樂推薦，新聞客戶端的推薦，游戲道具的推薦，等等。

　　目前我們做到從數(shù)據(jù)進來到投放數(shù)據(jù)，延時不會超過50毫秒。有這個技術基礎，騰訊的精準推薦才有了基礎。

　　從內部管理而言，實時也降低了成本。因為實時數(shù)據(jù)處理可以用足“每一秒”。傳統(tǒng)的數(shù)據(jù)倉庫一般從晚上零點到第二天早上八點，做數(shù)據(jù)截斷、抽取和處理，因為早上九點老板就要看數(shù)據(jù)報告了。數(shù)據(jù)處理的時間只有一天之中的三分之一，其他時間都是空閑的。

　　當我們把數(shù)據(jù)做到實時處理的事后，實際意義是將分析時間成本分攤到全天，成本更低。同時這也有利于控制風險，因為只要一出錯馬上可以監(jiān)控，迅速回滾。

　　所以你將大部分精力放在了“實時”上，你為什么認定“實時”會為騰訊增加更多的商業(yè)價值?

　　數(shù)據(jù)首先是有時效性的，一秒鐘前的行為和一秒鐘后的行為有著天差地別。

　　以往我們通過統(tǒng)計數(shù)據(jù)，得出規(guī)律，找到用戶喜好。而現(xiàn)在實時變得更為重要。前一秒你看了母嬰內容，那么幾秒內就應該推送相關廣告，轉化率會比較高。如果你還在推送幾天前，這個用戶看足球的數(shù)據(jù)信息，這個生意就很難做下去了。

　　在騰訊，我們分三個領域各自研究精準推薦：數(shù)據(jù)整理、實時計算、算法研究。我深知，實時計算是關鍵核心。

　　在我的腦海中，一切數(shù)據(jù)必須以消息為中心，實時處理、提煉瓜分。實在解決不了的數(shù)據(jù)，再做離線分析。

　　比如一張照片，在數(shù)據(jù)處理端口肯定首先被實時過濾，這張照片是在哪里拍的?其中幾個人，通過什么方式拍攝的?在所有數(shù)據(jù)收集處理完之后，我可能還需要找這張圖片與其他圖片的關聯(lián)關系，這時才會做離線處理。

　　騰訊基本上90%以上的數(shù)據(jù)都是在線實時處理。我一直在堅持將騰訊的數(shù)據(jù)集中起來，放在一個平臺體系之下，這其實是來自阿里巴巴的教訓。(蔣杰原來在支付寶數(shù)據(jù)部門工作)阿里巴巴的數(shù)據(jù)直到今天還是四分五裂。

　　其實，我對于數(shù)據(jù)的實時經驗也是在支付寶時期積累的。當時我學到的一點是，如果沒有搜索引擎的支撐，就根本無法做數(shù)據(jù)分析。當時很多人都說，沒有辦法讓數(shù)據(jù)在6秒內被搜索出來，而我堅持認為可以達到。

　　實際上，現(xiàn)在在騰訊，一萬五千個字段，在3秒之內所有的數(shù)據(jù)交叉都可以實現(xiàn)。這是一個做技術的本分。

　　在實時這個領域，技術上的難點是什么?

　　我一直在慢慢弱化數(shù)據(jù)倉庫，逐步走向實時數(shù)據(jù)倉庫。其中最大的問題是，如何實現(xiàn)數(shù)據(jù)實時獲取?

　　數(shù)據(jù)實時處理的前提，首先是實時采集。我的辦法是一方面和業(yè)務部門談好，另一方面我將數(shù)據(jù)采集文件部署到所有的機器里，從安裝操作系統(tǒng)的時候就寫入數(shù)據(jù)采集文件。這樣，騰訊所有40萬臺機器都可以協(xié)同操作。

　　過去兩年，騰訊從原來的一小時響應，到現(xiàn)在一秒鐘精準推送，CTR (點擊率)能提升20%。規(guī)模越大效果越明顯。

　　精準推薦有三大要素，第一是數(shù)據(jù)，第二是實時，第三是算法。

　　首先要有強大的數(shù)據(jù)，如果數(shù)據(jù)缺失什么都干不了;第二，效果明顯的是實時，第三才是優(yōu)化算法。這是整個精準推薦體系的核心。實時在其中排在第二，我們的實踐證明， 在什么都沒變的情況下，頻率改變帶來了整體收入的提升。

　　在解決了獲取數(shù)據(jù)之后，數(shù)據(jù)底層所遭遇的最大困難是什么?

　　眼下的挑戰(zhàn)在于深度學習。大數(shù)據(jù)時代，騰訊有200PB的圖片數(shù)據(jù)，如何去挖掘圖片數(shù)據(jù)的價值?如何去挖掘語音數(shù)據(jù)的價值?

　　我們正在做的是從結構化數(shù)據(jù)分析轉向非結構化數(shù)據(jù)。如何從非結構化數(shù)據(jù)中提煉商業(yè)價值?這包括了深度學習的DNN和CNN技術，包括如何做文本之間相似度的關系。這都是需要突破的點。

　　微信所有的語音訓練都是深度學習的辦法來處理。比如，每當你在用微信放語音的時候，機器自動翻譯成文字，就是靠深度學習網絡來訓練的。但目前，計算能力依然是一個門檻，這個能力并非我們想象這么輕松，需要更多計算技術來改進。

　　未來數(shù)據(jù)處理會有劇烈的改變么?

　　硬件決定了數(shù)據(jù)的能效。數(shù)據(jù)規(guī)模越大，數(shù)據(jù)展現(xiàn)的方式會越多，未來實時計算的處理需求會越來越旺盛。相信未來，能貼合更多應用場景的高效計算引擎會出現(xiàn)，這是我對未來的判斷。

　　很明顯的是，如果當前一秒的數(shù)據(jù)沒有處理完整，提煉清楚，隨后的分析成本就會越來越高，而數(shù)據(jù)的價值則越來越低。所以，在未來，高效計算引擎和存儲引擎的出現(xiàn)，會對大數(shù)據(jù)發(fā)展有突飛猛進的效用。

　　后記：

　　在蔣杰看來，沒什么比實時更重要。在騰訊，他敏感意識到實時數(shù)據(jù)對于廣告的價值，所以把大部分精力放到實時處理數(shù)據(jù)以及如何優(yōu)化廣告投放上。

　　今天很多公司的數(shù)據(jù)倉庫是離線的，也因此數(shù)據(jù)距離實際業(yè)務很遙遠，這個距離不僅僅是無法實時反應，更多在于無法保證數(shù)據(jù)的穩(wěn)定和質量。

　　以此而言，數(shù)據(jù)實時化是業(yè)務與數(shù)據(jù)的結合的關鍵。

　　但實時數(shù)據(jù)并非終點。

　　每秒都在生產新數(shù)據(jù)，新數(shù)據(jù)與既有數(shù)據(jù)之間的關系如何梳理?假如我們一直通過數(shù)據(jù)收集、分析得知，電腦前坐著的是一只狗，但假如某天的數(shù)據(jù)收集顯示，它會貓叫。那么我們能判斷電腦前的其實是一只貓么?

　　這不僅僅是數(shù)據(jù)更新變化這么簡單，而關系到我們如何判斷和分析。

　　所以，此時，延時判斷變得很重要。

　　如何在龐大數(shù)據(jù)面前，做出延時判斷?盡管你有實時數(shù)據(jù)分析的能力。

　　這可能是下一個更有趣的話題。