北理工在大數(shù)據(jù)最優(yōu)抽樣取得研究成果
發(fā)布日期：2020-06-15 供稿：數(shù)學(xué)與統(tǒng)計學(xué)院
編輯：陶思遠(yuǎn) 審核：田玉斌 閱讀次數(shù)：
日前,，北京理工大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院虞俊助理教授及其合作者在統(tǒng)計學(xué)四大國際頂級期刊《Journal of the American Statistical Association》上發(fā)表了題為“Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data”的研究論文,。該論文針對如何從分布式存儲海量數(shù)據(jù)中提取有用的信息這一問題，從基于最優(yōu)試驗設(shè)計理論的抽樣角度提出了一個快速解決方案,。
隨著大數(shù)據(jù)時代的到來,，人們所能獲取的數(shù)據(jù)源源不斷地以指數(shù)級的速度增加。分析這些作為信息載體的數(shù)據(jù),，從中提取有用的信息,，一直是統(tǒng)計學(xué)和數(shù)據(jù)科學(xué)的核心研究課題之一。對海量數(shù)據(jù)進(jìn)行統(tǒng)計分析時,，通常面對兩個特別具有挑戰(zhàn)的問題,，其一是數(shù)據(jù)量過大，無法將整個數(shù)據(jù)集存入一個計算機中,，從而導(dǎo)致傳統(tǒng)統(tǒng)計分析算法無法直接應(yīng)用到對應(yīng)數(shù)據(jù)集,；其二是盡管數(shù)據(jù)量適中，然而由于現(xiàn)有計算機的計算速度和計算能力的限制,，進(jìn)行統(tǒng)計分析往往耗時很長,，無法在有限的時間內(nèi)得到研究者想要的統(tǒng)計分析結(jié)果。
為了克服這兩個挑戰(zhàn)性問題,，針對大數(shù)據(jù)集的統(tǒng)計分析方法大致可以分為如下兩類：第一類是并行計算方法,，首先將整個大數(shù)據(jù)集分成若干個子數(shù)據(jù)集，對每個子數(shù)據(jù)集單獨計算,，最后把這些子數(shù)據(jù)集的計算結(jié)果有機地結(jié)合在一起，得到整個數(shù)據(jù)集的推斷結(jié)果,。第二類分析方法是子抽樣方法,，從整個數(shù)據(jù)集中巧妙地抽取一組有效的子樣本，僅對子樣本進(jìn)行統(tǒng)計推斷,，利用樣本代替整體的思想,，通過子樣本的推斷來推斷全樣本的估計結(jié)果，從而節(jié)省計算時間,。雖然大量的研究結(jié)果表明子抽樣方法能夠有效解決大數(shù)據(jù)的統(tǒng)計推斷問題,，然而如何高效地選擇攜帶信息量大、能夠提高統(tǒng)計推斷準(zhǔn)確度的數(shù)據(jù)作為進(jìn)行統(tǒng)計推斷的子樣仍然是大數(shù)據(jù)分析中亟待解決的問題之一,。
虞俊助理教授與合作者的上述論文,，基于最優(yōu)設(shè)計的思想,，對如何高效地選擇富含統(tǒng)計模型信息的數(shù)據(jù)這一問題給出了一個科學(xué)的方法。利用分布計算的優(yōu)勢,，首先對存儲在不同計算機上的數(shù)據(jù)集分別抽取子樣,，之后將每個子樣本得到的估計巧妙地融合在一起，從而形成全數(shù)據(jù)集的最優(yōu)近似估計,。文章從理論和模擬兩方面證明了這一方法的科學(xué)性和可行性,。
該項研究工作是虞俊助理教授與北京大學(xué)艾明要教授，康涅狄格大學(xué)統(tǒng)計系王海鷹助理教授等合作完成,，虞俊助理教授為第一作者,，本項工作得到北京理工大學(xué)青年教師學(xué)術(shù)啟動計劃的資助。
論文鏈接地址：
https://www.tandfonline.com/doi/abs/10.1080/01621459.2020.1773832?journalCode=uasa20
附研究團隊及個人簡介：
北京理工大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院試驗設(shè)計團隊積極開展國內(nèi)外合作研究和學(xué)術(shù)交流,，團隊負(fù)責(zé)人田玉斌教授以及團隊成員孔祥順博士,，王典朋博士，虞俊博士等分別與國內(nèi)外知名試驗設(shè)計學(xué)者,，如C.F.Jeff Wu院士,、艾明要教授、Roshan Vengazhiyil Joseph教授等建立了長期的合作關(guān)系,。團隊成員分別開展著試驗設(shè)計理論與應(yīng)用的研究,，表現(xiàn)出強勁的發(fā)展勢頭。
虞俊,，助理教授,，北理工數(shù)學(xué)與統(tǒng)計學(xué)院試驗設(shè)計團隊主要成員。本科畢業(yè)于南開大學(xué),、博士畢業(yè)于北京大學(xué),，曾在美國佐治亞州立大學(xué)作訪問學(xué)者。主要從事試驗設(shè)計,，抽樣理論以及相關(guān)的統(tǒng)計應(yīng)用研究工作,。在《Journal of the American Statistical Association》《Computational Statistics & Data Analysis》《Statistica Sinica》《Journal of Statistical Planning and Inference》等統(tǒng)計學(xué)權(quán)威期刊發(fā)表了多篇高水平學(xué)術(shù)論文。
分享到：