大數(shù)據(jù)在成都視頻監(jiān)控存儲(chǔ)應(yīng)用與挑戰(zhàn)分析

成都弱電公司訊：

作為云時(shí)代海量數(shù)據(jù)的來源之一，安防成都視頻監(jiān)控行業(yè)隨著智慧城市和智能交通的快速發(fā)展、移動(dòng)互聯(lián)設(shè)備的快速激增，產(chǎn)生了海量的非結(jié)構(gòu)化視音頻數(shù)據(jù)，帶動(dòng)了大數(shù)據(jù)的存儲(chǔ)、經(jīng)管、分析等應(yīng)用。面向云時(shí)代，業(yè)界同仁一擁而上、熱血沸騰，無(wú)論是IT供應(yīng)商、存儲(chǔ)廠商、還是解決方案提供商都不甘落后，雨后春筍般的紛紛提出基于計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等多層次虛擬化的數(shù)據(jù)中心解決方案，投入大量資源，推出云存儲(chǔ)、云計(jì)算等系統(tǒng)產(chǎn)品。

面對(duì)大數(shù)據(jù)，成都視頻監(jiān)控行業(yè)面臨哪些難題？我們?nèi)绾螒?yīng)用云計(jì)算、大數(shù)據(jù)相關(guān)技術(shù)來獲取數(shù)據(jù)背后隱含的信息？未來的挑戰(zhàn)和前景如何？我將從以上幾方面發(fā)表個(gè)人觀點(diǎn)，意在拋磚引玉、引發(fā)業(yè)界同仁在產(chǎn)業(yè)發(fā)展的進(jìn)一步思考和討論。

1.成都視頻監(jiān)控存儲(chǔ)及智能分析系統(tǒng)中的難題

根據(jù)IDC預(yù)測(cè)，全球在2010年已正式進(jìn)入ZB時(shí)代，全球數(shù)據(jù)量大約每?jī)赡攴环?，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長(zhǎng)的數(shù)據(jù)，正推動(dòng)人類進(jìn)入大數(shù)據(jù)的時(shí)代。

大數(shù)據(jù)包括社交媒體、移動(dòng)設(shè)備、科學(xué)計(jì)算和城市中部署的各類傳感器信息，其中視頻是構(gòu)成數(shù)據(jù)體量最大的組成部分。據(jù)IMSResearch統(tǒng)計(jì)，2018年全球攝像頭的出貨量達(dá)到2646萬(wàn)臺(tái)，預(yù)計(jì)到2018年攝像頭出貨量達(dá)5454萬(wàn)臺(tái)。一天產(chǎn)生的成都視頻監(jiān)控數(shù)據(jù)超過1500PB，而累計(jì)歷史數(shù)據(jù)將更為龐大，在成都視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動(dòng)下，成都視頻監(jiān)控業(yè)務(wù)將面臨海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享、數(shù)據(jù)平安及數(shù)據(jù)利用四大難題。

(1)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

安防行業(yè)的大數(shù)據(jù)目前主要來源于智慧城市和智能交通等大型安防項(xiàng)目。例如，2018年全球兩天的數(shù)據(jù)就高達(dá)1.8ZB，相當(dāng)于文明起始到21世紀(jì)初全部的數(shù)據(jù)總和；2018年某一線城市一個(gè)季度產(chǎn)生的數(shù)據(jù)總量也在200PB。當(dāng)前，智慧城市建設(shè)已成為地方政府推進(jìn)城鎮(zhèn)化發(fā)展的重要途徑，而隨著智慧城市的發(fā)展，對(duì)高清攝像機(jī)和智能化監(jiān)控設(shè)備的需求會(huì)持續(xù)增長(zhǎng)，智能交通行業(yè)將成為十二五政府投資的重點(diǎn)領(lǐng)域，這將使未來幾年成都視頻監(jiān)控行業(yè)仍保持高景氣度。此外隨著智能家居、民用安防的普及，更多的用戶會(huì)通過移動(dòng)設(shè)備監(jiān)看視頻，于此同時(shí)會(huì)有更多的移動(dòng)互聯(lián)數(shù)據(jù)產(chǎn)生。2018年全國(guó)就擁有3.88億移動(dòng)互聯(lián)網(wǎng)用戶，預(yù)計(jì)2018年互聯(lián)設(shè)備將達(dá)到150億，2020年互聯(lián)設(shè)備將達(dá)到2000億。數(shù)據(jù)10倍速的增長(zhǎng)，在帶來巨大機(jī)遇的同時(shí)，也帶來了很大的挑戰(zhàn)。

按照IT產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力往往越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大，以及隨之而來的大規(guī)模計(jì)算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重。如何在滿足需求的前提下，刪除重復(fù)數(shù)據(jù)、降低硬件成本投資將成為海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的一個(gè)難題。

(2)數(shù)據(jù)共享

大數(shù)據(jù)需要通過快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價(jià)值。安防大數(shù)據(jù)時(shí)代最顯著的特征就是海量和非結(jié)構(gòu)化數(shù)據(jù)共享，用以提高數(shù)據(jù)處理能力。好比天網(wǎng)工程和智能交通就是最具代表性的案例，天網(wǎng)工程一般分為省市縣鄉(xiāng)鎮(zhèn)等多級(jí)架構(gòu)，智能交通圖像也分布在前端卡口、區(qū)節(jié)點(diǎn)、市省國(guó)家級(jí)中心中，海量數(shù)據(jù)存儲(chǔ)在分歧節(jié)點(diǎn)、分歧設(shè)備中，這給傳統(tǒng)的數(shù)據(jù)經(jīng)管和使用機(jī)制帶來了極大的挑戰(zhàn)。

與科學(xué)計(jì)算、互聯(lián)網(wǎng)相比，成都視頻監(jiān)控的大數(shù)據(jù)處理難度尤大，首先，視頻錄像是更原始的非文本非結(jié)構(gòu)化的數(shù)據(jù)，必須經(jīng)過復(fù)雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行下一步處理；其次視頻錄像相對(duì)其它形式數(shù)據(jù)的容量要大幾個(gè)數(shù)量級(jí)，對(duì)傳輸、存儲(chǔ)和計(jì)算的帶寬要求大。因此我們說數(shù)據(jù)高效共享是第二大難題。

(3)數(shù)據(jù)平安

平安城市、智慧城市的建設(shè)促使安防云存儲(chǔ)技術(shù)的應(yīng)用，智慧城市一大要求就是將視頻存儲(chǔ)數(shù)據(jù)相互之間進(jìn)行聯(lián)動(dòng)、共享，例如在犯罪追蹤時(shí)，公安、交通、民用行業(yè)等多范圍的存儲(chǔ)數(shù)據(jù)能夠共享，而這種共享具備了云存儲(chǔ)的特性；傳統(tǒng)的存儲(chǔ)技術(shù)無(wú)法滿足社會(huì)發(fā)展需求，云存儲(chǔ)的在安防領(lǐng)域的應(yīng)用成為必然。

安防成都視頻監(jiān)控數(shù)據(jù)具有私密性高、保密性強(qiáng)的特點(diǎn)，不僅是事后追查的依據(jù)、而且更是后續(xù)數(shù)據(jù)分析挖掘的基礎(chǔ)。因此我們說數(shù)據(jù)平安一方面是指不受到外界數(shù)據(jù)的入侵和非法獲取、另一方面是指龐大系統(tǒng)的魯棒性、體系容錯(cuò)機(jī)制，確保硬件軟件發(fā)生故障時(shí)，數(shù)據(jù)仍然可以恢復(fù)、得以儲(chǔ)存。面對(duì)海量數(shù)據(jù)的存儲(chǔ)、共享，硬件和軟件設(shè)備承載了極大的風(fēng)險(xiǎn)，因此我們?nèi)绾螛?gòu)建大型、海量成都視頻監(jiān)控存儲(chǔ)系統(tǒng)、數(shù)據(jù)分析系統(tǒng)以及容錯(cuò)冗余機(jī)制是第三大難題。

(4)數(shù)據(jù)利用

攝像頭7X24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因?yàn)閷?duì)于客戶來講可能大部分信息是無(wú)效。數(shù)據(jù)的有效性分為兩個(gè)方面，一方面有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi)，按照數(shù)學(xué)統(tǒng)計(jì)的說法，信息是呈現(xiàn)冪律分布的，也稱為信息的密度，往往越高密度的信息對(duì)客戶價(jià)值越大；另一方面是指深層次挖掘龐大的海量數(shù)據(jù)，關(guān)聯(lián)得出有效信息。

成都視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò)內(nèi)的設(shè)備越來越多，利用閑置的計(jì)算資源，實(shí)現(xiàn)資源的最大化利用，關(guān)乎運(yùn)算的效率。在成都視頻監(jiān)控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準(zhǔn)確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對(duì)TB級(jí)別的數(shù)據(jù)進(jìn)行對(duì)視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計(jì)算的模式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，巨量數(shù)據(jù)的效率優(yōu)化，并行計(jì)算也許是解決問題的辦法。