《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究
網(wǎng)絡安全與數(shù)據(jù)治理
許政,阮西玥,陳祥浩
中航機載系統(tǒng)共性技術有限公司
摘要: 隨著航空機載產(chǎn)品制造過程中數(shù)字化程度的不斷提升,多源異構(gòu)工業(yè)大數(shù)據(jù)高速增長,這些實時與非實時交融的大數(shù)據(jù)對系統(tǒng)的數(shù)據(jù)管理能力提出了更高的要求。設計了一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),以提升數(shù)據(jù)傳輸和管理效能為目標,重點圍繞數(shù)據(jù)采樣同步機制、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等方面進行功能設計,通過實驗驗證了架構(gòu)的可行性和可用性,能支撐云、邊、端各類節(jié)點的差異化數(shù)據(jù)應用。
中圖分類號:TP301.6文獻標識碼:ADOI:10.19358/j.issn.2097-1788.2024.12.007
引用格式:許政,阮西玥,陳祥浩. 基于云-邊-端的多源異構(gòu)大數(shù)據(jù)治理架構(gòu)研究[J].網(wǎng)絡安全與數(shù)據(jù)治理,2024,43(12):47-53.
Research on multi-source heterogeneous big data governance architecture based on cloud-edge-end
Xu Zheng, Ruan Xiyue, Chen Xianghao
AVICAS Generic Technology Co., Ltd.
Abstract: With the continuous improvement of digitization in the manufacturing process of aviation airborne products, the massive multi-source heterogeneous industrial data grows geometrically, and these real-time and non-real-time intermingled big data put forward higher requirements for the data management capability of the system. In this paper, a multi-source heterogeneous data governance architecture based on cloud-edge-end is designed to enhance data transmission and management performance, focusing on data sampling synchronization mechanism, edge data governance, cloud data governance and other aspects of the functional design, and the feasibility and usability of the architecture is verified through experiments, which can support the differentiated needs of various node data applications in the cloud-edge-end.
Key words : cloud-edge-end; multi-source heterogeneous; big data governance; architecture design

引言

隨著航空制造業(yè)數(shù)字化轉(zhuǎn)型進程的高速推進,制造產(chǎn)線數(shù)字化程度不斷提升以及傳感技術廣泛應用,海量類別多樣、復雜度高、質(zhì)量參差的實時數(shù)據(jù)、非實時數(shù)據(jù),以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈幾何式增長,數(shù)據(jù)中心的網(wǎng)絡資源、計算資源和存儲資源都面臨巨大的壓力,通信網(wǎng)絡和服務器資源的建設進程已難以滿足當前航空制造數(shù)字化業(yè)務的信息聯(lián)通和算力需求。

云計算嚴重依賴網(wǎng)絡,計算資源過于集中,靈活性不足,面對系統(tǒng)實時性和可靠性要求較高的應用場景時,服務能力不足[1];邊緣計算作為云計算的補充,能夠在數(shù)據(jù)源頭完成一定規(guī)模的數(shù)據(jù)分析處理,具有網(wǎng)絡時延小、實時性好的特點[2];因此,云–邊–端作為一種新型的數(shù)據(jù)治理架構(gòu)被提出[3],它結(jié)合了云計算和邊緣計算的優(yōu)點,運用云-邊資源同步[4]技術,以最低的成本滿足用戶低延遲服務的需求。

目前,云-邊-端數(shù)據(jù)治理架構(gòu)已廣泛應用于電力系統(tǒng)[5]、車聯(lián)網(wǎng)[6]、物聯(lián)網(wǎng)[7]、智能交通[8]等領域,相關研究主要聚焦于系統(tǒng)架構(gòu)優(yōu)化[9]、傳輸時延及帶寬降低[10]、數(shù)據(jù)質(zhì)量提升[11]等方面,主要目標是減少資源同步時延、降低系統(tǒng)能耗以及提高用戶體驗。

基于此,本文面向航空機載產(chǎn)品制造場景,提出一種基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu),從數(shù)據(jù)傳輸、邊緣數(shù)據(jù)治理、云端數(shù)據(jù)治理等維度給出解決方案,提升數(shù)據(jù)傳輸效率和數(shù)據(jù)存儲質(zhì)量,并通過實驗驗證了架構(gòu)的可行性和可用性。

1基于云-邊-端的多源異構(gòu)數(shù)據(jù)治理架構(gòu)設計

本文以數(shù)據(jù)為核心,構(gòu)建基于工業(yè)互聯(lián)網(wǎng)云平臺的遠程分布式云-邊-端一體化多源異構(gòu)數(shù)據(jù)治理架構(gòu),如圖1所示,數(shù)據(jù)自底向上逐層傳輸處理,涵蓋數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)應用全過程,形成多源異構(gòu)數(shù)據(jù)采集、邊緣數(shù)據(jù)預處理傳輸、云數(shù)據(jù)中心工業(yè)大數(shù)據(jù)存儲以及云端業(yè)務應用系統(tǒng)等各環(huán)節(jié)技術與業(yè)務架構(gòu)解決方案。

(1)工廠端:解決制造現(xiàn)場端多類型設備、多類業(yè)務系統(tǒng)以及多種監(jiān)測方案產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集問題,采集數(shù)據(jù)包括設備實時運行數(shù)據(jù)、工藝數(shù)據(jù)以及計劃、質(zhì)量等業(yè)務數(shù)據(jù);

(2)邊緣端:采集工廠端設備和本地網(wǎng)絡中的數(shù)據(jù),通過數(shù)據(jù)協(xié)議解析完成采集,經(jīng)清洗處理在本地數(shù)據(jù)庫形成備份,實現(xiàn)設備告警、狀態(tài)監(jiān)控、數(shù)據(jù)處理、歷史數(shù)據(jù)查詢等功能,同時將設備采集信息傳送給數(shù)據(jù)中心;

(3)云端:采集邊緣端上報數(shù)據(jù)和工廠端本地數(shù)據(jù),根據(jù)數(shù)據(jù)特性選擇實時數(shù)據(jù)庫、關系數(shù)據(jù)庫或者分布式存儲,經(jīng)數(shù)據(jù)處理,形成數(shù)據(jù)資產(chǎn),實現(xiàn)制造過程數(shù)據(jù)云端的統(tǒng)一匯聚,支撐制造業(yè)務服務、數(shù)字孿生、大數(shù)據(jù)服務、人工智能算法服務等云端應用。


本文詳細內(nèi)容請下載:

http://theprogrammingfactory.com/resource/share/2000006266


作者信息:

許政,阮西玥,陳祥浩

(中航機載系統(tǒng)共性技術有限公司,江蘇揚州225000)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。