引用格式:許政,阮西玥,陳祥浩. 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究[J].網(wǎng)絡安全與數(shù)據(jù)治理,2024,43(12):47-53.
引言
隨著航空制造業(yè)數(shù)字化轉(zhuǎn)型進程的高速推進,制造產(chǎn)線數(shù)字化程度不斷提升以及傳感技術廣泛應用,海量類別多樣、復雜度高、質(zhì)量參差的實時數(shù)據(jù)、非實時數(shù)據(jù),以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈幾何式增長,數(shù)據(jù)中心的網(wǎng)絡資源、計算資源和存儲資源都面臨巨大的壓力,通信網(wǎng)絡和服務器資源的建設進程已難以滿足當前航空制造數(shù)字化業(yè)務的信息聯(lián)通和算力需求。
云計算嚴重依賴網(wǎng)絡,計算資源過于集中,靈活性不足,面對系統(tǒng)實時性和可靠性要求較高的應用場景時,服務能力不足[1];邊緣計算作為云計算的補充,能夠在數(shù)據(jù)源頭完成一定規(guī)模的數(shù)據(jù)分析處理,具有網(wǎng)絡時延小、實時性好的特點[2];因此,云–邊–端作為一種新型的數(shù)據(jù)治理架構(gòu)被提出[3],它結(jié)合了云計算和邊緣計算的優(yōu)點,運用云-邊資源同步[4]技術,以最低的成本滿足用戶低延遲服務的需求。
目前,云-邊-端數(shù)據(jù)治理架構(gòu)已廣泛應用于電力系統(tǒng)[5]、車聯(lián)網(wǎng)[6]、物聯(lián)網(wǎng)[7]、智能交通[8]等領域,相關研究主要聚焦于系統(tǒng)架構(gòu)優(yōu)化[9]、傳輸時延及帶寬降低[10]、數(shù)據(jù)質(zhì)量提升[11]等方面,主要目標是減少資源同步時延、降低系統(tǒng)能耗以及提高用戶體驗。
基于此,本文面向航空機載產(chǎn)品制造場景,提出一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),從數(shù)據(jù)傳輸、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等維度給出解決方案,提升數(shù)據(jù)傳輸效率和數(shù)據(jù)存儲質(zhì)量,并通過實驗驗證了架構(gòu)的可行性和可用性。
1基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu)設計
本文以數(shù)據(jù)為核心,構(gòu)建基于工業(yè)互聯(lián)網(wǎng)云平臺的遠程分布式云-邊-端一體化多源異構(gòu)數(shù)據(jù)治理架構(gòu),如圖1所示,數(shù)據(jù)自底向上逐層傳輸處理,涵蓋數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)應用全過程,形成多源異構(gòu)數(shù)據(jù)采集、邊緣數(shù)據(jù)預處理傳輸、云數(shù)據(jù)中心工業(yè)大數(shù)據(jù)存儲以及云端業(yè)務應用系統(tǒng)等各環(huán)節(jié)技術與業(yè)務架構(gòu)解決方案。
(1)工廠端:解決制造現(xiàn)場端多類型設備、多類業(yè)務系統(tǒng)以及多種監(jiān)測方案產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集問題,采集數(shù)據(jù)包括設備實時運行數(shù)據(jù)、工藝數(shù)據(jù)以及計劃、質(zhì)量等業(yè)務數(shù)據(jù);
(2)邊緣端:采集工廠端設備和本地網(wǎng)絡中的數(shù)據(jù),通過數(shù)據(jù)協(xié)議解析完成采集,經(jīng)清洗處理在本地數(shù)據(jù)庫形成備份,實現(xiàn)設備告警、狀態(tài)監(jiān)控、數(shù)據(jù)處理、歷史數(shù)據(jù)查詢等功能,同時將設備采集信息傳送給數(shù)據(jù)中心;
(3)云端:采集邊緣端上報數(shù)據(jù)和工廠端本地數(shù)據(jù),根據(jù)數(shù)據(jù)特性選擇實時數(shù)據(jù)庫、關系數(shù)據(jù)庫或者分布式存儲,經(jīng)數(shù)據(jù)處理,形成數(shù)據(jù)資產(chǎn),實現(xiàn)制造過程數(shù)據(jù)云端的統(tǒng)一匯聚,支撐制造業(yè)務服務、數(shù)字孿生、大數(shù)據(jù)服務、人工智能算法服務等云端應用。
本文詳細內(nèi)容請下載:
http://theprogrammingfactory.com/resource/share/2000006266
作者信息:
許政,阮西玥,陳祥浩
(中航機載系統(tǒng)共性技術有限公司,江蘇揚州225000)