轉(zhuǎn)載本文需注明出處違者必究。

01數(shù)據(jù)中心發(fā)展的趨勢(shì)
信息技術(shù)應(yīng)用創(chuàng)新發(fā)展是目前的一項(xiàng)國(guó)家戰(zhàn)略，也是當(dāng)今形勢(shì)下國(guó)家經(jīng)濟(jì)發(fā)展的新動(dòng)能。發(fā)展信創(chuàng)是為了近年來(lái)保障核心技術(shù)自主可控解決安全的本質(zhì)問(wèn)題，目前，國(guó)家在全國(guó)范圍內(nèi)各省、自治區(qū)、直轄市均建有大型或超大型數(shù)據(jù)中心。數(shù)據(jù)中心雖然用電量占全社會(huì)用電量的比例接近1％，卻拉動(dòng)了36．2％的國(guó)內(nèi)生產(chǎn)總值，數(shù)據(jù)中心建設(shè)成為經(jīng)濟(jì)發(fā)展的新支點(diǎn)。

數(shù)據(jù)中心的建設(shè)是需要通過(guò)數(shù)據(jù)交換將各個(gè)地方的數(shù)據(jù)信息收集起來(lái)，解決數(shù)據(jù)的互通問(wèn)題。這里面數(shù)據(jù)中心的核心任務(wù)是要將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起。使用戶能夠以透明的方式訪問(wèn)這些數(shù)據(jù)源達(dá)到數(shù)據(jù)共享的目的。

02數(shù)據(jù)中心與數(shù)據(jù)交換

隨著社會(huì)的發(fā)展科技的進(jìn)步，近些年來(lái)政府和企業(yè)部門(mén)都已經(jīng)建立起自己的業(yè)務(wù)系統(tǒng)，并在日常業(yè)務(wù)處理中發(fā)揮著重要的作用。由于受各種條件的限制，在建設(shè)初期各部門(mén)獨(dú)立建設(shè)自己的系統(tǒng)，導(dǎo)致信息孤島現(xiàn)象大量存在，嚴(yán)重制約了數(shù)字化業(yè)務(wù)的進(jìn)一步發(fā)展。當(dāng)今社會(huì)已經(jīng)進(jìn)入了數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新的發(fā)展階段，而大數(shù)據(jù)中心是支撐數(shù)字經(jīng)濟(jì)發(fā)展的關(guān)鍵，在數(shù)據(jù)經(jīng)濟(jì)時(shí)代，計(jì)算力已經(jīng)與水、電一樣成為最基本的社會(huì)基礎(chǔ)設(shè)施之一，而大數(shù)據(jù)中心是集中存放計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)設(shè)備的場(chǎng)所，是承載計(jì)算力的關(guān)鍵基礎(chǔ)設(shè)施。

數(shù)據(jù)中心的建設(shè)離不開(kāi)數(shù)據(jù)，數(shù)據(jù)交換平臺(tái)是數(shù)據(jù)中心與上下級(jí)部門(mén)或單位之間獲取數(shù)據(jù)的交換機(jī)。數(shù)據(jù)交換平臺(tái)是把不同來(lái)源、不同物理存儲(chǔ)中的數(shù)據(jù)經(jīng)過(guò)抽取、轉(zhuǎn)換、清洗并將數(shù)據(jù)存儲(chǔ)到不同的目標(biāo)數(shù)據(jù)源的數(shù)據(jù)處理過(guò)程。數(shù)據(jù)交換中主要包含了三類(lèi)數(shù)據(jù)的交換包括文件交換、接口交換、ETL交換。根據(jù)交換業(yè)務(wù)的不同采用不同的方式進(jìn)行交換。

文件交換這里指的是二進(jìn)制形式的文件比如圖片、電影、壓縮文件等數(shù)據(jù)類(lèi)型，通常是以文件方式進(jìn)行的存儲(chǔ)。這種類(lèi)型的數(shù)據(jù)通常適合采用文件交換，文件交換一般是不會(huì)解析文件的內(nèi)容，采用拷貝的方式將文件復(fù)制到目標(biāo)存儲(chǔ)中進(jìn)行數(shù)據(jù)交換。

接口交換一般情況是數(shù)據(jù)來(lái)源是以http、webservice、restful形式發(fā)布的數(shù)據(jù)，這種類(lèi)型的數(shù)據(jù)需要有請(qǐng)求對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)從而獲取到數(shù)據(jù)，這種數(shù)據(jù)進(jìn)行交換如果目標(biāo)也是接口，則采用ESB總線的方式將來(lái)源接口和目標(biāo)接口進(jìn)行匹配交換。如果這種類(lèi)型的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換的目標(biāo)是其他類(lèi)型的數(shù)據(jù)形式，比如：可以通過(guò)訪問(wèn)來(lái)源接口的數(shù)據(jù)通過(guò)數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)成文件數(shù)據(jù)，也可以存儲(chǔ)到數(shù)據(jù)庫(kù)中。這種情況下可采用ETL的方式進(jìn)行交換。

ETL交換能夠?qū)⒋蟛糠纸Y(jié)構(gòu)化存儲(chǔ)的數(shù)據(jù)進(jìn)行抽取，包括數(shù)據(jù)庫(kù)、excel、txt、xml等結(jié)構(gòu)化存儲(chǔ)可解析的數(shù)據(jù)，ETL交換時(shí)是將數(shù)據(jù)源中的數(shù)據(jù)以行為單位，列為組成單元的形式解析出來(lái)，提供多種過(guò)濾清洗的組件對(duì)抽取出來(lái)的數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換，最終將數(shù)據(jù)存放到目標(biāo)存儲(chǔ)中。

這些看似簡(jiǎn)單的過(guò)程，其實(shí)在真正實(shí)施數(shù)據(jù)中心建設(shè)的時(shí)候有很多工作要做。下面以數(shù)據(jù)中心建設(shè)為例進(jìn)行講解。

03數(shù)據(jù)交換組織建設(shè)

在進(jìn)行數(shù)據(jù)中心建設(shè)前需要考慮保障數(shù)據(jù)接入和數(shù)據(jù)交換工作的順利推進(jìn)會(huì)先進(jìn)行數(shù)據(jù)交換規(guī)范的制定。數(shù)據(jù)交換規(guī)范，明確數(shù)據(jù)交換平臺(tái)管理流程、各環(huán)節(jié)任務(wù)、參與者的職責(zé)以及各環(huán)節(jié)的輸入、輸出和產(chǎn)出物。

數(shù)據(jù)交換規(guī)范涵蓋數(shù)據(jù)服務(wù)定義、實(shí)現(xiàn)、上線、運(yùn)行、變更和退役的過(guò)程，數(shù)據(jù)交換管理規(guī)范從這六個(gè)階段進(jìn)行管理每個(gè)階段的主要工作內(nèi)容、參與角色及其工作職責(zé)，以及需要遵循的規(guī)范和原則，進(jìn)而保障數(shù)據(jù)交換管理活動(dòng)都在規(guī)范的管理下受控。為了落實(shí)規(guī)范的執(zhí)行由上級(jí)單位牽頭，下級(jí)單位和相關(guān)廠商配合進(jìn)行組織建設(shè)，成立數(shù)據(jù)交換的管理層形成數(shù)據(jù)交換管理組。主要負(fù)責(zé)數(shù)據(jù)交換規(guī)范的制定和對(duì)執(zhí)行情況的監(jiān)督；操作層由數(shù)據(jù)交換平臺(tái)的數(shù)據(jù)管理員、開(kāi)發(fā)人員、運(yùn)維人員和外圍系統(tǒng)相關(guān)人員組成，主要負(fù)責(zé)交換平臺(tái)相關(guān)的技術(shù)操作工作。

數(shù)據(jù)交換管理組是數(shù)據(jù)交換規(guī)范的制定者、監(jiān)督者，主要負(fù)責(zé)數(shù)據(jù)交換規(guī)范的制定、對(duì)數(shù)據(jù)交換執(zhí)行過(guò)程進(jìn)行管理和監(jiān)控。推動(dòng)數(shù)據(jù)交換管理活動(dòng)，確保管理體系和系統(tǒng)工具的執(zhí)行，定期了解數(shù)據(jù)交換作業(yè)的運(yùn)行情況，評(píng)估數(shù)據(jù)交換和服務(wù)管理的績(jī)效，保證數(shù)據(jù)交換管理最終實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。

數(shù)據(jù)管理員是企業(yè)數(shù)據(jù)資源的管理人員，主要負(fù)責(zé)數(shù)據(jù)資源的注冊(cè)和維護(hù)，相關(guān)權(quán)限的審批，及相關(guān)評(píng)審工作。

開(kāi)發(fā)人員負(fù)責(zé)數(shù)據(jù)資源交換任務(wù)的開(kāi)發(fā)工作。

運(yùn)維人員主要負(fù)責(zé)數(shù)據(jù)交換平臺(tái)的安裝部署以及日常的平臺(tái)運(yùn)行狀態(tài)的監(jiān)控，保證平臺(tái)穩(wěn)定運(yùn)行。

其他相關(guān)人員包括數(shù)據(jù)交換的各參與方人員，主要包括數(shù)據(jù)提供者和數(shù)據(jù)消費(fèi)者，相關(guān)業(yè)務(wù)應(yīng)用開(kāi)發(fā)和管理人員。

建設(shè)管理工作涉及不同人和角色之間的管理和相互配合，這需要在許多不同的利益相關(guān)者之間達(dá)成共識(shí)。因此在數(shù)據(jù)交換平臺(tái)建設(shè)中成立專(zhuān)業(yè)化的項(xiàng)目管理組織是一項(xiàng)重要工作。

數(shù)據(jù)交換管理可以有效地保證項(xiàng)目管理組織目標(biāo)的實(shí)現(xiàn)，有效地應(yīng)付項(xiàng)目環(huán)境的變化，滿足項(xiàng)目組織成員的各種需求，使其具有凝聚力、組織力和向心力，以保證項(xiàng)目組織系統(tǒng)正常運(yùn)轉(zhuǎn)，確保數(shù)據(jù)交換平臺(tái)建設(shè)工作順利完成。組織成立后需要進(jìn)行相關(guān)管理規(guī)范和技術(shù)規(guī)范的制定，可根據(jù)自身企業(yè)的實(shí)際情況來(lái)制定這里就不展開(kāi)討論。

04數(shù)據(jù)交換在數(shù)據(jù)中心建設(shè)

數(shù)據(jù)交換平臺(tái)是數(shù)據(jù)中心與其它應(yīng)用系統(tǒng)溝通的橋梁，是進(jìn)行數(shù)據(jù)交換的樞紐站。數(shù)據(jù)交換平臺(tái)負(fù)責(zé)從各個(gè)業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗與整合，按照數(shù)據(jù)中心建設(shè)標(biāo)準(zhǔn)規(guī)范化原始數(shù)據(jù)，最終形成各種主題庫(kù)。

數(shù)據(jù)中心建設(shè)包括這幾個(gè)步驟：

1、數(shù)據(jù)源：數(shù)據(jù)的來(lái)源，一般是由不同部門(mén)的各類(lèi)來(lái)源數(shù)據(jù)，包括文件、數(shù)據(jù)庫(kù)、Http服務(wù)等2、數(shù)據(jù)匯聚：存放的是接入的原始數(shù)據(jù)。經(jīng)過(guò)ETL之后裝入本層，大多是按照源頭業(yè)務(wù)系統(tǒng)的分類(lèi)方式而分類(lèi)的。為了考慮后續(xù)可能追溯數(shù)據(jù)為題，因此對(duì)這一層不建議做過(guò)多的數(shù)據(jù)清洗工作，原封不動(dòng)接入源數(shù)據(jù)即可，至于數(shù)據(jù)的去噪，去重，異常值處理等過(guò)程可以放在后面的DW層3、數(shù)據(jù)處理：是對(duì)匯聚的原始數(shù)據(jù)進(jìn)行初步的ETL處理，實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗、加工，補(bǔ)全各類(lèi)信息（包括編碼字典解釋等），這個(gè)步驟的目的是實(shí)現(xiàn)數(shù)據(jù)的規(guī)范化，這里的數(shù)據(jù)也是落地存儲(chǔ)物理庫(kù)，作為抽取中間庫(kù)DWD層4、數(shù)據(jù)融合：是對(duì)規(guī)范化的原始數(shù)據(jù)進(jìn)行融合處理，建立數(shù)據(jù)之間的關(guān)系模型。數(shù)據(jù)融合主要是按照主題或業(yè)務(wù)領(lǐng)域進(jìn)行數(shù)據(jù)建模。5、數(shù)據(jù)集市：是對(duì)領(lǐng)域模型數(shù)據(jù)進(jìn)行匯總統(tǒng)計(jì)分析，將統(tǒng)計(jì)分析的結(jié)果進(jìn)行存儲(chǔ)，可以理解為報(bào)表決策數(shù)據(jù)所使用的統(tǒng)計(jì)表，結(jié)合大數(shù)據(jù)分析將分析結(jié)果在集市層存儲(chǔ)，為上層應(yīng)用提供統(tǒng)計(jì)數(shù)據(jù)。

05數(shù)據(jù)交換平臺(tái)建設(shè)架構(gòu)

數(shù)據(jù)中心離不開(kāi)數(shù)據(jù)，數(shù)據(jù)中心的數(shù)據(jù)是將各個(gè)分部門(mén)中的數(shù)據(jù)通過(guò)數(shù)據(jù)交換到數(shù)據(jù)中心的，在分部門(mén)和數(shù)據(jù)中心進(jìn)行數(shù)據(jù)交換時(shí)會(huì)建設(shè)數(shù)據(jù)交換的前置區(qū)進(jìn)行數(shù)據(jù)隔離保障數(shù)據(jù)的安全。前置交換節(jié)點(diǎn)通過(guò)數(shù)據(jù)文件的方式和數(shù)據(jù)中心交換數(shù)據(jù)。前置機(jī)位于廣域網(wǎng)，通過(guò)Internet和交換中心相連。在和數(shù)據(jù)中心交換時(shí)只交換數(shù)據(jù)中心所需要的數(shù)據(jù)并不會(huì)將所有的業(yè)務(wù)數(shù)據(jù)都交換到數(shù)據(jù)中心。前置節(jié)點(diǎn)中會(huì)部署一套前置交換系統(tǒng)用于將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)交換到前置區(qū)中，數(shù)據(jù)中心會(huì)定期從前置區(qū)的固定目錄中獲取數(shù)據(jù)中心所需要的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換，交換采用安全加密的協(xié)議保障數(shù)據(jù)的安全。在數(shù)據(jù)交換到數(shù)據(jù)中心時(shí)會(huì)先進(jìn)行數(shù)據(jù)質(zhì)量檢核確保數(shù)據(jù)是符合規(guī)范的，如果檢核通過(guò)則由數(shù)據(jù)中心中的數(shù)據(jù)交換系統(tǒng)將數(shù)據(jù)存入中心庫(kù)，如果沒(méi)有通過(guò)檢核則會(huì)通知相關(guān)部門(mén)進(jìn)行數(shù)據(jù)修正，解決數(shù)據(jù)問(wèn)題后在進(jìn)行數(shù)據(jù)交換。

數(shù)據(jù)同步到數(shù)據(jù)中心后就由數(shù)據(jù)中心的數(shù)據(jù)交換系統(tǒng)進(jìn)行數(shù)據(jù)匯聚、數(shù)據(jù)處理、數(shù)據(jù)融合和數(shù)據(jù)集市的操作。以前的數(shù)據(jù)中心建設(shè)只是將數(shù)據(jù)集中管理起來(lái)進(jìn)行了一些基本的數(shù)據(jù)統(tǒng)計(jì)和分析，沒(méi)有充分的發(fā)揮數(shù)據(jù)的價(jià)值。使得數(shù)據(jù)中心的建設(shè)又變成了一個(gè)新的數(shù)據(jù)孤島。隨著近些年來(lái)數(shù)據(jù)開(kāi)放共享的呼聲越來(lái)越高，數(shù)據(jù)共享成為了數(shù)據(jù)中心建設(shè)的一個(gè)重要組成。

數(shù)據(jù)共享能夠以多種方式提供數(shù)據(jù)，用戶可根據(jù)自己的需要在數(shù)據(jù)交換平臺(tái)上進(jìn)行數(shù)據(jù)的申請(qǐng)或訂閱獲取到想要的數(shù)據(jù)，數(shù)據(jù)管理方也能夠通過(guò)數(shù)據(jù)交換平臺(tái)對(duì)數(shù)據(jù)共享進(jìn)行開(kāi)放和管理。通過(guò)數(shù)據(jù)共享能夠?qū)?shù)據(jù)進(jìn)行融合形成許多建立在數(shù)據(jù)共享開(kāi)放之上的應(yīng)用如雨后春筍一般迅速實(shí)現(xiàn)。

06數(shù)據(jù)交換功能

數(shù)據(jù)交換平臺(tái)的是實(shí)現(xiàn)數(shù)據(jù)中心建設(shè)重要的組成，數(shù)據(jù)交換平臺(tái)的功能主要有以下幾部分組成：

資源目錄管理：基于資源目錄管理規(guī)范，采用分級(jí)、分域的方式對(duì)需要交換的數(shù)據(jù)元數(shù)據(jù)進(jìn)行管理，向數(shù)據(jù)交換開(kāi)發(fā)人員、數(shù)據(jù)管理人員以目錄的形式提供元數(shù)據(jù)的展示。數(shù)據(jù)服務(wù)目錄管理主要功能包含：元數(shù)據(jù)管理、分類(lèi)管理、目錄編目、目錄管理和目錄服務(wù)。

服務(wù)接口管理：數(shù)據(jù)交換平臺(tái)中提供了服務(wù)接口管理功能，通過(guò)分層的方法進(jìn)行可視化的服務(wù)管理，像服務(wù)操作注釋?zhuān)?wù)操作參數(shù)，服務(wù)操作返回值等都提供相應(yīng)的用戶界面。服務(wù)接口管理主要功能包含：接口注冊(cè)、接口管理、接口構(gòu)建、服務(wù)監(jiān)控、調(diào)用關(guān)系管理和服務(wù)接口統(tǒng)計(jì)。

數(shù)據(jù)交換管理：支持服務(wù)接口開(kāi)發(fā)、etl數(shù)據(jù)抽取以及文件傳輸數(shù)據(jù)交換的開(kāi)發(fā)、運(yùn)行和管理，主要功能包含：交換橋接、前置交換、數(shù)據(jù)處理、文件傳輸和數(shù)據(jù)統(tǒng)計(jì)。

系統(tǒng)支撐功能：支持按照分類(lèi)、主題、應(yīng)用等多個(gè)層次對(duì)數(shù)據(jù)進(jìn)行分類(lèi)管理、識(shí)別、定位和共享，開(kāi)發(fā)完成的數(shù)據(jù)服務(wù)消費(fèi)方可以平臺(tái)中瀏覽查看，如果消費(fèi)方需要使用數(shù)據(jù)服務(wù)能夠在平臺(tái)中發(fā)起申請(qǐng)，審批通過(guò)后根據(jù)平臺(tái)中提供的服務(wù)信息使用數(shù)據(jù)。主要功能包含：主題管理、信息訂閱、數(shù)據(jù)審批和申請(qǐng)記錄。

系統(tǒng)管理與監(jiān)控：支持按照角色、菜單劃分系統(tǒng)功能權(quán)限，能夠監(jiān)控服務(wù)接口、etl數(shù)據(jù)抽取以及文件傳輸交換的運(yùn)行進(jìn)行統(tǒng)計(jì)和監(jiān)控。主要功能包含組織管理、用戶管理、角色管理、安全管理和平臺(tái)監(jiān)控。

6．1資源目錄

資源目錄體系與交換體系兩者密不可分。事實(shí)上，資源目錄的構(gòu)建過(guò)程是對(duì)信息資源進(jìn)行編目和分類(lèi)的一體化過(guò)程，同時(shí)也是依托技術(shù)構(gòu)建信息資源管理體系的過(guò)程。建成目錄體系和交換體系的同時(shí)，將形成內(nèi)部信息資源的管理架構(gòu)。資源目錄是數(shù)據(jù)交換的基礎(chǔ)，能夠?yàn)閿?shù)據(jù)交換提供所需要的元數(shù)據(jù)信息。同時(shí)還是一套為信息資源檢索、定位和共享的應(yīng)用服務(wù)體系。

根據(jù)相關(guān)標(biāo)準(zhǔn)定義，資源目錄可以分為部門(mén)資源目錄、基礎(chǔ)資源目錄和主題資源目錄，從實(shí)踐中來(lái)看，梳理部門(mén)的資源目錄是數(shù)據(jù)交換平臺(tái)的切入點(diǎn)。但由于下級(jí)部門(mén)眾多，各自對(duì)數(shù)據(jù)中心的期望和要求不一致，短期內(nèi)數(shù)據(jù)中心的建設(shè)也不能支撐下級(jí)部門(mén)的業(yè)務(wù)，因此上報(bào)數(shù)據(jù)不積極，再加上每個(gè)下級(jí)部門(mén)都建設(shè)了數(shù)套業(yè)務(wù)系統(tǒng)，作為數(shù)據(jù)交換平臺(tái)的實(shí)施方，也難以對(duì)委辦局提出清晰、明確的數(shù)據(jù)需求。需要由數(shù)據(jù)交換管理組牽頭進(jìn)行資源目錄梳理，也就是將要求各下級(jí)部門(mén)或單位、按照職責(zé)梳理其應(yīng)該有的數(shù)據(jù)目錄和數(shù)據(jù)項(xiàng)，后續(xù)再通過(guò)資源目錄來(lái)接入各部門(mén)的數(shù)據(jù)，形成部門(mén)庫(kù)，進(jìn)而建設(shè)基礎(chǔ)庫(kù)和主題庫(kù)，形成主題數(shù)據(jù)，去支撐各類(lèi)上層應(yīng)用，包括大屏分析、主題分析，甚至政務(wù)服務(wù)事項(xiàng)、一網(wǎng)通辦等。

利用資源目錄管理系統(tǒng)，可以通過(guò)在線錄入資源目錄，以信息化手段減輕資源目錄梳理的工作，通過(guò)技術(shù)手段提高梳理的效率。整個(gè)過(guò)程就像是開(kāi)一個(gè)數(shù)據(jù)超市需要聯(lián)系各種供貨渠道，管理各個(gè)供貨渠道的供貨關(guān)系，最終形成一個(gè)貨物目錄放到貨架上。

6．2服務(wù)與接口

近些年來(lái)，隨著數(shù)據(jù)服務(wù)化的意識(shí)加強(qiáng)越來(lái)越多新上線的系統(tǒng)已經(jīng)提供了相關(guān)數(shù)據(jù)服務(wù)的接口，這時(shí)服務(wù)接口的數(shù)據(jù)交換管理采用SOA松耦合的思想來(lái)進(jìn)行數(shù)據(jù)交換，通過(guò)靈活的服務(wù)接口和Adapter，方便SOA應(yīng)用和遺留應(yīng)用的集成，這種松耦合、有效靈活的架構(gòu)提供了更好的擴(kuò)展性。

要點(diǎn)說(shuō)明：

調(diào)用／推送：將服務(wù)注冊(cè)到數(shù)據(jù)交換平臺(tái)，可以主動(dòng)調(diào)用接口拉取數(shù)據(jù)。下級(jí)部門(mén)如有服務(wù)集成需求，可以直接使用交換平臺(tái)提供的接口訪問(wèn)服務(wù)。

數(shù)據(jù)寫(xiě)入方式：根據(jù)數(shù)據(jù)交換邏輯的不同，可以直接寫(xiě)入利用資源目錄管理系統(tǒng)，可以通過(guò)在線錄入資源目錄，以信息化手段減輕資源目錄梳理的工作，通過(guò)技術(shù)手段提高梳理的效率。數(shù)據(jù)中心再共享給各個(gè)系統(tǒng)，也可以直接把數(shù)據(jù)傳遞給業(yè)務(wù)系統(tǒng)。

松耦合的服務(wù)配置：服務(wù)配置過(guò)程中會(huì)對(duì)ip和端口、服務(wù)的URI、服務(wù)邏輯編排、響應(yīng)報(bào)文處理等環(huán)節(jié)進(jìn)行單獨(dú)配置，所以對(duì)于調(diào)用方來(lái)說(shuō)，服務(wù)是透明的是非侵入的。

6．3交換管理

這里將交換管理分為兩部分一部分是ETL的交換，另一部分是文件傳輸。

ETL的交換用于大批量非實(shí)時(shí)低頻度的數(shù)據(jù)交換。不只是數(shù)據(jù)文件，包括ETL抽取上來(lái)的結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫(kù)抽取上來(lái)的增量日志，都先生成文件放在文件緩存區(qū)，再通過(guò)批量數(shù)據(jù)管道進(jìn)行傳輸。

要點(diǎn)說(shuō)明：

三種類(lèi)型數(shù)據(jù)的采集：各類(lèi)數(shù)據(jù)文件、ETL抽取并經(jīng)過(guò)加工的結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫(kù)獲取的增量日志。

數(shù)據(jù)傳輸鏈路：實(shí)現(xiàn)應(yīng)用單位前置交換信息庫(kù)與交換中心之間的信息處理及穩(wěn)定可靠、不間斷地信息傳遞。

ETL邏輯一次性配置：ETL文件在傳輸?shù)那昂蠖加刑幚磉壿?，這些邏輯可以在交換中心單點(diǎn)配置，并自動(dòng)同步到相關(guān)前置節(jié)點(diǎn)。

三種觸發(fā)方式：可以通過(guò)定時(shí)任務(wù)調(diào)度、數(shù)據(jù)偵測(cè)、任務(wù)監(jiān)控。數(shù)據(jù)庫(kù)新生的日志可以通過(guò)數(shù)據(jù)偵測(cè)感知并準(zhǔn)實(shí)時(shí)傳送。

文件傳輸交換用于實(shí)現(xiàn)文件形式的數(shù)據(jù)傳輸。實(shí)現(xiàn)集團(tuán)總部與成員單位之間的文件數(shù)據(jù)傳輸，對(duì)于大的文件，會(huì)自動(dòng)對(duì)文件進(jìn)行智能分割傳輸，支持?jǐn)帱c(diǎn)續(xù)傳、加密壓縮傳輸、文件并發(fā)傳輸以及傳輸流量控制。

要點(diǎn)說(shuō)明：

文件傳輸：采用一對(duì)一、一對(duì)多的方式進(jìn)行文件傳輸，用戶通過(guò)配置發(fā)送節(jié)點(diǎn)及發(fā)送目錄、接收節(jié)點(diǎn)及接收目錄，并配以調(diào)度策略，F(xiàn)TA發(fā)送節(jié)點(diǎn)會(huì)自動(dòng)定期檢測(cè)發(fā)送目錄。

斷點(diǎn)續(xù)傳：在不穩(wěn)定網(wǎng)絡(luò)狀態(tài)下保證數(shù)據(jù)的可靠高效傳輸。

加密壓縮傳輸：系統(tǒng)可對(duì)發(fā)送數(shù)據(jù)進(jìn)行加密，目的節(jié)點(diǎn)接收到加密的數(shù)據(jù)后，會(huì)對(duì)接收數(shù)據(jù)自動(dòng)進(jìn)行解密。提供的壓縮機(jī)制，以便用戶進(jìn)行大容量文件傳送時(shí)提高效率。

并發(fā)傳輸：支持并發(fā)傳輸，每個(gè)傳輸節(jié)點(diǎn)可以同時(shí)并發(fā)傳輸多個(gè)文件。

6．4數(shù)據(jù)使用

以前的數(shù)據(jù)中心建設(shè)是有什么數(shù)據(jù)就只能給什么數(shù)據(jù)，現(xiàn)在新一代的數(shù)據(jù)中心建設(shè)是想要什么數(shù)據(jù)就能獲取到想要的數(shù)據(jù)。而能夠做到這些需求的背后是數(shù)據(jù)交換技術(shù)的發(fā)展和進(jìn)步。通過(guò)建立共享目錄服務(wù)等共享數(shù)據(jù)庫(kù)，以手工錄入或?qū)雽?dǎo)出等方式，將數(shù)據(jù)、文檔等存入共享庫(kù)中，數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)對(duì)所需信息的快速服務(wù)發(fā)布以及便捷檢索和查詢。

發(fā)布后的服務(wù)能夠提供給用戶進(jìn)行申請(qǐng)或訂閱，數(shù)據(jù)信息訂閱分為申請(qǐng)資源和訂閱資源兩種方式：

申請(qǐng)資源：提供消費(fèi)方通過(guò)資源申請(qǐng)方式申請(qǐng)主題分類(lèi)資源樹(shù)中的數(shù)據(jù)實(shí)體資源，相對(duì)平臺(tái)而言“拉”的方式，消費(fèi)方申請(qǐng)資源后，向消費(fèi)方開(kāi)放Web服務(wù)信息、表格下載方式，由消費(fèi)方主動(dòng)獲取數(shù)據(jù)資源。

訂閱資源：提供消費(fèi)方通過(guò)資源訂閱方式申請(qǐng)主題分類(lèi)資源樹(shù)中的數(shù)據(jù)實(shí)體資源，相對(duì)平臺(tái)而言“推”的方式，消費(fèi)方訂閱資源后，向平臺(tái)提供數(shù)據(jù)庫(kù)、文件目錄地址與連接方式，由平臺(tái)向消費(fèi)方推送數(shù)據(jù)資源。

用戶的申請(qǐng)或訂閱是需要通過(guò)審批才能獲取到數(shù)據(jù)資源的，數(shù)據(jù)管理方能夠在數(shù)據(jù)交換平臺(tái)中對(duì)用戶所使用數(shù)據(jù)的情況進(jìn)行監(jiān)控。通過(guò)數(shù)據(jù)交換平臺(tái)來(lái)實(shí)現(xiàn)數(shù)據(jù)共享和路由。這種連接方式實(shí)現(xiàn)了數(shù)據(jù)的無(wú)縫交換和共享訪問(wèn)，保證了各業(yè)務(wù)系統(tǒng)的有效協(xié)同，同時(shí)又能保證各應(yīng)用系統(tǒng)的相互獨(dú)立性和低耦合性，從整體上提高了系統(tǒng)運(yùn)作效率和安全性。

用戶在使用數(shù)據(jù)時(shí)就像進(jìn)入了數(shù)據(jù)超市一樣，數(shù)據(jù)共享平臺(tái)里共享出來(lái)的各種主題就像是數(shù)據(jù)的貨架，貨架上擺滿了各種數(shù)據(jù)，用戶可以隨意挑選。在找到自己想要的數(shù)據(jù)后，只要發(fā)出申請(qǐng)或訂閱，通過(guò)審批后就能夠拿到所需的數(shù)據(jù)。

6．5系統(tǒng)管理與監(jiān)控

在系統(tǒng)管理和監(jiān)控中數(shù)據(jù)管理方能夠分配資源的使用權(quán)限，監(jiān)控消費(fèi)方對(duì)數(shù)據(jù)交換和數(shù)據(jù)共享的使用情況。

數(shù)據(jù)交換平臺(tái)支持告警監(jiān)控，在平臺(tái)數(shù)據(jù)交換服務(wù)執(zhí)行異常時(shí)，能夠觸發(fā)相關(guān)的告警服務(wù)，用戶可自定義服務(wù)監(jiān)控指標(biāo)與告警范圍，支持郵件、短信等告警方式。前面我們說(shuō)了，提供的共享服務(wù)就像是開(kāi)一個(gè)數(shù)據(jù)超市，那么數(shù)據(jù)交換平臺(tái)的監(jiān)控就像是超市中裝的監(jiān)控?cái)z像頭，能夠監(jiān)控?cái)?shù)據(jù)交換的一舉一動(dòng)。保障數(shù)據(jù)資產(chǎn)的安全。

07總結(jié)

普元的數(shù)據(jù)交換平融合了數(shù)據(jù)中心以及數(shù)據(jù)中臺(tái)的建設(shè)思路，結(jié)合了信創(chuàng)對(duì)國(guó)產(chǎn)化以及自主可控的要求，能夠適配國(guó)產(chǎn)化操作系統(tǒng)和數(shù)據(jù)庫(kù)的環(huán)境，數(shù)據(jù)交換平臺(tái)能夠?qū)⑸舷掠蔚臄?shù)據(jù)整合到數(shù)據(jù)中心，形成資源目錄中的各種業(yè)務(wù)主題庫(kù)。通過(guò)資源目錄對(duì)數(shù)據(jù)進(jìn)行共享，打破數(shù)據(jù)孤島，實(shí)現(xiàn)各級(jí)部門(mén)間的數(shù)據(jù)資源共享、互聯(lián)互通，為數(shù)據(jù)中心的建設(shè)夯實(shí)基礎(chǔ)。

關(guān)于作者：光芒，普元項(xiàng)目經(jīng)理，十多年的IT從業(yè)經(jīng)驗(yàn)，一直專(zhuān)注于企業(yè)數(shù)據(jù)交換和數(shù)據(jù)管理的工作。曾主持參與了Primeton DI和Primeton ESB的產(chǎn)品研發(fā)工作，致力于自服務(wù)的數(shù)據(jù)共享和數(shù)據(jù)交換研究，在數(shù)據(jù)治理領(lǐng)域不斷探索和研發(fā)。