重構(gòu)數(shù)據(jù)處理架構(gòu)大數(shù)據(jù)讓視頻更智能

成都弱電公司訊：

智慧城市的經(jīng)管中，成都視頻監(jiān)控發(fā)揮著越來(lái)越重要的作用。隨著成都視頻監(jiān)控數(shù)據(jù)量的飛速增長(zhǎng)，工作人員在用傳統(tǒng)方式對(duì)視頻進(jìn)行分析和檢索的時(shí)候碰到了很大的挑戰(zhàn)。而大數(shù)據(jù)技術(shù)可以重構(gòu)傳統(tǒng)視頻數(shù)據(jù)處理的架構(gòu)，讓人們可以更快速、更智能地分析和應(yīng)用成都視頻監(jiān)控的大數(shù)據(jù)。

我國(guó)智慧城市戰(zhàn)略已經(jīng)實(shí)施了多年，全面提升了城市的經(jīng)管和服務(wù)能力。而從數(shù)據(jù)上來(lái)看，市民感受城市最直接的變化就是攝像頭密集度越來(lái)越高。而且，很多城市都已經(jīng)開始實(shí)施“天眼工程”，為的就是實(shí)現(xiàn)對(duì)城市全方位無(wú)死角的監(jiān)控。密集分布的攝像頭網(wǎng)絡(luò)組成了城市的公共平安成都視頻監(jiān)控系統(tǒng)，也提升了一個(gè)城市治安、交通、消防、市政、城管等各部門的整體經(jīng)管和服務(wù)水平。

海量視頻數(shù)據(jù)帶來(lái)的挑戰(zhàn)

隨著成都視頻監(jiān)控數(shù)據(jù)量的快速增長(zhǎng)，以及攝像頭高清化、超高清化的趨勢(shì)加強(qiáng)，成都視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級(jí)別增長(zhǎng)。以一個(gè)部署了1萬(wàn)個(gè)攝像頭的中等城市為例，假定每個(gè)攝像頭每秒壓縮視頻數(shù)據(jù)量為1Mb(比特)，則一天共產(chǎn)生108TB的視頻錄像，一個(gè)月共產(chǎn)生約3PB的視頻錄像。

現(xiàn)在，新的問(wèn)題出來(lái)了，攝像頭7×24小時(shí)地錄制視頻，讓每個(gè)城市都產(chǎn)生了大量的成都視頻監(jiān)控文件。但是，當(dāng)公安部門或交通部門希望快速搜索某時(shí)間或某些特征的視頻段時(shí)，這個(gè)看似簡(jiǎn)樸的想法，操作起來(lái)卻猶如大海撈針。

與通常的結(jié)構(gòu)化數(shù)據(jù)分歧，成都視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主，必須經(jīng)過(guò)復(fù)雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行下一步處理。這些都給傳統(tǒng)成都視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的經(jīng)管方式、數(shù)據(jù)分析，以及成都視頻監(jiān)控數(shù)據(jù)的傳輸、存儲(chǔ)和計(jì)算帶寬等帶來(lái)了極大的挑戰(zhàn)。

挑戰(zhàn)一：數(shù)據(jù)量的急劇擴(kuò)大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大，以及隨之而來(lái)的大規(guī)模計(jì)算的需求越來(lái)越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重，客戶越來(lái)越希望在滿足需求的前提下，用中低端的硬件來(lái)替換高配硬件。

挑戰(zhàn)二：海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7×24小時(shí)地工作如實(shí)記錄鏡頭覆蓋范圍內(nèi)所發(fā)生的一切。但是，大部分成都視頻監(jiān)控信息是無(wú)效的，有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi)，按照數(shù)學(xué)統(tǒng)計(jì)的說(shuō)法，信息是呈現(xiàn)冪律分布的，也稱之為信息的密度，往往越高密度的信息對(duì)客戶價(jià)值越大。

挑戰(zhàn)三：資源利用和效率之間的矛盾。隨著成都視頻監(jiān)控數(shù)據(jù)量的增加，哪怕對(duì)TB級(jí)別的數(shù)據(jù)進(jìn)行視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用傳統(tǒng)方式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算，這遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，視頻智能分析必須尋找新的突破。

因此，想要從如此海量的成都視頻監(jiān)控文件檢索到所需的視頻信息，必須借助特殊的技術(shù)幫忙。