文:劉黎春
轉(zhuǎn)自:51CTO
在51CTO舉辦的WOT”互聯(lián)網(wǎng)+”時(shí)代大數(shù)據(jù)技術(shù)峰會上,來自騰訊數(shù)據(jù)挖掘高級工程師劉黎春做了以《社交數(shù)據(jù)在征信領(lǐng)域的應(yīng)用探索》為主題的演講,主要內(nèi)容由社交征信背景、騰訊社交網(wǎng)絡(luò)數(shù)據(jù)、個(gè)體用戶畫像研究、社團(tuán)圈子研究、模型建設(shè)及應(yīng)用這五部分構(gòu)成,下面我們就逐一為大家介紹各部分的內(nèi)容。
劉黎春表示,征信并不是一個(gè)簡單征信評分的模型,而是由數(shù)據(jù)公司、征信公司、征信使用方三部分組成。數(shù)據(jù)公司就是采集或做一些數(shù)據(jù)的初步挖掘,這類公司可能會有特殊的數(shù)據(jù)源,例如法院、公安等這些數(shù)據(jù)都是需要深入行業(yè)背景才能拿到。征信公司是有一個(gè)產(chǎn)權(quán)聯(lián)系,另外它也會向第三方一些數(shù)據(jù)公司去購買一些數(shù)據(jù)回來,豐富它數(shù)據(jù)的維度,并且基于這些數(shù)據(jù)去做一些征信的事情,提供一些征信級的解決方案。征信使用方就是征信的解決方案最后給到誰來用。一般來說我們的理解就是銀行和P2P的貸款機(jī)構(gòu)。這三部分綜合起來,就形成了一個(gè)整體的征信行業(yè)的產(chǎn)業(yè)鏈。
綜合以上四圖的數(shù)據(jù)來看,如果社交數(shù)據(jù)可以用到征信中的話,是不是可以對央行的征信系統(tǒng)做一個(gè)很好的補(bǔ)充呢?劉黎春表示,這是騰訊在做社交征信項(xiàng)目時(shí)最開始思考的問題。社交數(shù)據(jù)非常龐大,但并不一定都是有效數(shù)據(jù),還要看具體應(yīng)用的業(yè)務(wù)場景是不是和數(shù)據(jù)有相關(guān)性,這些數(shù)據(jù)是不是真的能夠用到最后的模型或者算法中去。這樣問題就接踵而來,社交數(shù)據(jù)與信用評級有關(guān)系嗎??交易數(shù)據(jù)天然具備金融屬性,社交數(shù)據(jù)有嗎??社交數(shù)據(jù)非結(jié)構(gòu)化程度高,怎么挖掘并有效使用?
在談騰訊社交網(wǎng)絡(luò)數(shù)據(jù)構(gòu)成之前,劉黎春先介紹了傳統(tǒng)征信的分析維度。其一是用戶的基礎(chǔ)信息,如年齡、性別、職業(yè)、收入、婚姻狀況,工作年限,工作狀況等基本上和每家銀行或者每個(gè)做征信的機(jī)構(gòu)獲得的數(shù)據(jù)都差不多。其二是信貸情況,看用戶申請幾張信用卡,最近一個(gè)月的征信報(bào)告被查詢的次數(shù),因?yàn)槲覀兇蠹叶贾勒餍艌?bào)告被查詢的次數(shù)可以直接代表最近有沒有比較頻繁地做貸款的申請或者信用卡申請。如果最近的次數(shù)特別多,那說明這個(gè)人最近非常缺錢,可能就會影響信用,直接影響授信額度。
上圖是騰訊的數(shù)據(jù)現(xiàn)狀,包含了很多維度的數(shù)據(jù),覆蓋的用戶數(shù)相對來說更加全面一些。
上圖為騰訊社交征信SWOT分析,優(yōu)勢、劣勢、機(jī)會、風(fēng)險(xiǎn)一目了然。有了這樣詳細(xì)的分析,做個(gè)人征信是必然的事情,但做征信之前要清楚的知道征信對象是什么樣子,所以開始著手做個(gè)體用戶畫像的研究。
劉黎春表示,做個(gè)體用戶畫像研究遇到的挑戰(zhàn)主要有如下三方面:其一,如何充分利用騰訊各種豐富的數(shù)據(jù)資源及之間的聯(lián)系?其二,如何使用戶畫像適應(yīng)各種不同的應(yīng)用場景?其三,如何高效的處理海量的用戶數(shù)據(jù)(超過10億的QQ用戶,?超過千億級別的各類日志數(shù)據(jù))??
面對這些挑戰(zhàn),劉黎春給出來相應(yīng)的解決方案如下:
1.針對不同的底層數(shù)據(jù)類型設(shè)計(jì)特定的挖掘算法,挖掘用戶的行為特征,形成底?層標(biāo)簽。綜合考慮不同數(shù)據(jù)來源的,形成更上層的抽象用戶標(biāo)簽。
2.建立完善的用戶畫像標(biāo)簽體系結(jié)構(gòu),從不同維度、粒度對用戶進(jìn)行描述。
3.搭建用戶畫像挖掘系統(tǒng),基于大規(guī)模存儲和機(jī)器學(xué)習(xí)計(jì)算平臺,定期對全?量用戶數(shù)據(jù)進(jìn)行計(jì)算和挖掘,并提供用戶標(biāo)簽的使用和查詢服務(wù)。
個(gè)人用戶畫像研究的結(jié)果就是把結(jié)構(gòu)化數(shù)據(jù),文本分類,LBS數(shù)據(jù),社交網(wǎng)絡(luò)傳播擴(kuò)散這些挖掘之后形成一個(gè)比較完整的畫像,比如說人口的一些基礎(chǔ)屬性如年齡、家鄉(xiāng)、興趣等。同時(shí)也會對用戶婚姻狀況來做一個(gè)判斷。有了這些數(shù)據(jù)之后,就可以基于這些用戶數(shù)據(jù)去做很多社交征信工作。
這里說到的社團(tuán)圈子其實(shí)就是QQ圈子,劉黎春表示,在2012年有一個(gè)社交網(wǎng)絡(luò)的成果非常有影響力,那就是把挖掘出來的結(jié)果作用到整個(gè)前端的QQ用戶。具體案例就是如用戶的某個(gè)同事,你們并不是直接的好友關(guān)系,但騰訊會知道這期間的潛在關(guān)系,或自動分到同事分組并同時(shí)加上備注。這個(gè)結(jié)果在當(dāng)時(shí)引起了很大爭議有人覺得對于他們找到一些潛在好友提供便利,但有些人覺得觸碰了他們的隱私。
QQ圈子除了它自己本身之外,也會把它作用到很多場其他景里去,比如說用它來挖掘?qū)W歷的信息,基于QQ圈子好友的備注,如說很多人把這個(gè)用戶備注成一個(gè)本科同學(xué),那系統(tǒng)可能會判斷我的學(xué)歷是本科學(xué)歷。這樣的數(shù)據(jù)騰訊是拿一些真實(shí)的數(shù)據(jù)做過驗(yàn)證,數(shù)據(jù)覆蓋率大概能覆蓋74%,準(zhǔn)確到90%以上。
社交網(wǎng)絡(luò)拓?fù)涞膽?yīng)用無外乎有兩種,其一是是判斷拓?fù)涞念愋停涠茄芯窟@些類型在這個(gè)關(guān)系鏈里的影響力。比較有標(biāo)志性的拓?fù)漕愋陀腥切魏托男蛢煞N結(jié)構(gòu)。
那么要如何把個(gè)體用戶畫像和社團(tuán)圈子的研究,用到模型中去呢?劉黎春表示,首先要做的事情就是先建立一個(gè)社交模型,但在建模之前要做一些基本假設(shè),如兩個(gè)QQ號碼是屬于同一個(gè)人的話有一些比較明顯的特征,第一個(gè)他會經(jīng)常在同一個(gè)設(shè)備里面登陸,或者在同樣的IP里面登陸,或者它有其他特征的表現(xiàn)等等。最后把這些特征用來建立模型,去判斷說某幾個(gè)QQ號碼背后對應(yīng)的到底是不是同樣一個(gè)人,這個(gè)的準(zhǔn)確率大概是85%,覆蓋率是75%左右。
最后劉黎春介紹征信模型運(yùn)用到微粒貸中的具體應(yīng)用流程,上圖為產(chǎn)品截圖。打開QQ如果能夠看到微粒貸入口,說明是在騰訊篩選出的白名單里面。只要你點(diǎn)擊了申請開通,它會馬上給你算一個(gè)額度出來,如果你要借款,這個(gè)也是非???,只要你綁定了你的銀行卡,應(yīng)該在兩分鐘之內(nèi)會把你的借款打到你的賬上。其實(shí)這個(gè)相對于去傳統(tǒng)銀行借款的話,它這個(gè)效率是有一個(gè)質(zhì)的飛躍。但其前臺產(chǎn)品表現(xiàn)得越簡單,它背后的技術(shù)可能是越復(fù)雜的技術(shù)。征信模型作為微粒貸背后技術(shù)就是為了篩選具有良好信用的用戶,為這些用戶提供貸款服務(wù)。