《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 設(shè)計應(yīng)用 > 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
許政,阮西玥,陳祥浩
中航機載系統(tǒng)共性技術(shù)有限公司
摘要: 隨著航空機載產(chǎn)品制造過程中數(shù)字化程度的不斷提升,多源異構(gòu)工業(yè)大數(shù)據(jù)高速增長,這些實時與非實時交融的大數(shù)據(jù)對系統(tǒng)的數(shù)據(jù)管理能力提出了更高的要求。設(shè)計了一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),以提升數(shù)據(jù)傳輸和管理效能為目標(biāo),重點圍繞數(shù)據(jù)采樣同步機制、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等方面進行功能設(shè)計,通過實驗驗證了架構(gòu)的可行性和可用性,能支撐云、邊、端各類節(jié)點的差異化數(shù)據(jù)應(yīng)用。
中圖分類號:TP301.6文獻標(biāo)識碼:ADOI:10.19358/j.issn.2097-1788.2024.12.007
引用格式:許政,阮西玥,陳祥浩. 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2024,43(12):47-53.
Research on multi-source heterogeneous big data governance architecture based on cloud-edge-end
Xu Zheng, Ruan Xiyue, Chen Xianghao
AVICAS Generic Technology Co., Ltd.
Abstract: With the continuous improvement of digitization in the manufacturing process of aviation airborne products, the massive multi-source heterogeneous industrial data grows geometrically, and these real-time and non-real-time intermingled big data put forward higher requirements for the data management capability of the system. In this paper, a multi-source heterogeneous data governance architecture based on cloud-edge-end is designed to enhance data transmission and management performance, focusing on data sampling synchronization mechanism, edge data governance, cloud data governance and other aspects of the functional design, and the feasibility and usability of the architecture is verified through experiments, which can support the differentiated needs of various node data applications in the cloud-edge-end.
Key words : cloud-edge-end; multi-source heterogeneous; big data governance; architecture design

引言

隨著航空制造業(yè)數(shù)字化轉(zhuǎn)型進程的高速推進,制造產(chǎn)線數(shù)字化程度不斷提升以及傳感技術(shù)廣泛應(yīng)用,海量類別多樣、復(fù)雜度高、質(zhì)量參差的實時數(shù)據(jù)、非實時數(shù)據(jù),以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈幾何式增長,數(shù)據(jù)中心的網(wǎng)絡(luò)資源、計算資源和存儲資源都面臨巨大的壓力,通信網(wǎng)絡(luò)和服務(wù)器資源的建設(shè)進程已難以滿足當(dāng)前航空制造數(shù)字化業(yè)務(wù)的信息聯(lián)通和算力需求。

云計算嚴(yán)重依賴網(wǎng)絡(luò),計算資源過于集中,靈活性不足,面對系統(tǒng)實時性和可靠性要求較高的應(yīng)用場景時,服務(wù)能力不足[1];邊緣計算作為云計算的補充,能夠在數(shù)據(jù)源頭完成一定規(guī)模的數(shù)據(jù)分析處理,具有網(wǎng)絡(luò)時延小、實時性好的特點[2];因此,云–邊–端作為一種新型的數(shù)據(jù)治理架構(gòu)被提出[3],它結(jié)合了云計算和邊緣計算的優(yōu)點,運用云-邊資源同步[4]技術(shù),以最低的成本滿足用戶低延遲服務(wù)的需求。

目前,云-邊-端數(shù)據(jù)治理架構(gòu)已廣泛應(yīng)用于電力系統(tǒng)[5]、車聯(lián)網(wǎng)[6]、物聯(lián)網(wǎng)[7]、智能交通[8]等領(lǐng)域,相關(guān)研究主要聚焦于系統(tǒng)架構(gòu)優(yōu)化[9]、傳輸時延及帶寬降低[10]、數(shù)據(jù)質(zhì)量提升[11]等方面,主要目標(biāo)是減少資源同步時延、降低系統(tǒng)能耗以及提高用戶體驗。

基于此,本文面向航空機載產(chǎn)品制造場景,提出一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),從數(shù)據(jù)傳輸、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等維度給出解決方案,提升數(shù)據(jù)傳輸效率和數(shù)據(jù)存儲質(zhì)量,并通過實驗驗證了架構(gòu)的可行性和可用性。

1基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu)設(shè)計

本文以數(shù)據(jù)為核心,構(gòu)建基于工業(yè)互聯(lián)網(wǎng)云平臺的遠程分布式云-邊-端一體化多源異構(gòu)數(shù)據(jù)治理架構(gòu),如圖1所示,數(shù)據(jù)自底向上逐層傳輸處理,涵蓋數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用全過程,形成多源異構(gòu)數(shù)據(jù)采集、邊緣數(shù)據(jù)預(yù)處理傳輸、云數(shù)據(jù)中心工業(yè)大數(shù)據(jù)存儲以及云端業(yè)務(wù)應(yīng)用系統(tǒng)等各環(huán)節(jié)技術(shù)與業(yè)務(wù)架構(gòu)解決方案。

(1)工廠端:解決制造現(xiàn)場端多類型設(shè)備、多類業(yè)務(wù)系統(tǒng)以及多種監(jiān)測方案產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集問題,采集數(shù)據(jù)包括設(shè)備實時運行數(shù)據(jù)、工藝數(shù)據(jù)以及計劃、質(zhì)量等業(yè)務(wù)數(shù)據(jù);

(2)邊緣端:采集工廠端設(shè)備和本地網(wǎng)絡(luò)中的數(shù)據(jù),通過數(shù)據(jù)協(xié)議解析完成采集,經(jīng)清洗處理在本地數(shù)據(jù)庫形成備份,實現(xiàn)設(shè)備告警、狀態(tài)監(jiān)控、數(shù)據(jù)處理、歷史數(shù)據(jù)查詢等功能,同時將設(shè)備采集信息傳送給數(shù)據(jù)中心;

(3)云端:采集邊緣端上報數(shù)據(jù)和工廠端本地數(shù)據(jù),根據(jù)數(shù)據(jù)特性選擇實時數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫或者分布式存儲,經(jīng)數(shù)據(jù)處理,形成數(shù)據(jù)資產(chǎn),實現(xiàn)制造過程數(shù)據(jù)云端的統(tǒng)一匯聚,支撐制造業(yè)務(wù)服務(wù)、數(shù)字孿生、大數(shù)據(jù)服務(wù)、人工智能算法服務(wù)等云端應(yīng)用。


本文詳細內(nèi)容請下載:

http://theprogrammingfactory.com/resource/share/2000006266


作者信息:

許政,阮西玥,陳祥浩

(中航機載系統(tǒng)共性技術(shù)有限公司,江蘇揚州225000)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。