隨著互聯(lián)網(wǎng)、云計算等新興技術(shù)被廣泛使用，數(shù)據(jù)呈爆炸式增長，存放于二級存儲中的非生產(chǎn)數(shù)據(jù)逐年累積占比高達80%，且涉及大量隱私信息，從數(shù)據(jù)使用與安全管理上暴露出存儲資源浪費、硬件成本上升、數(shù)據(jù)交付效率低下的問題，直接威脅著各市場主體在數(shù)據(jù)使用方面的安全性。

　　同時，實際的數(shù)據(jù)使用場景中企業(yè)數(shù)據(jù)需經(jīng)過上中下游的流轉(zhuǎn)，各個環(huán)節(jié)都面臨著不同的管理難度和安全威脅，其中上游數(shù)據(jù)來源于生產(chǎn)環(huán)境，主要面臨著數(shù)據(jù)丟失與數(shù)據(jù)安全問題，為此企業(yè)需要建立完備的數(shù)據(jù)備份方案，保障業(yè)務(wù)持續(xù)；中游數(shù)據(jù)處在中間環(huán)節(jié)需要進行脫敏，保障提供到下游的數(shù)據(jù)安全可靠，嚴防隱私數(shù)據(jù)泄露；下游環(huán)節(jié)則亟需一種快速分發(fā)與流轉(zhuǎn)的方式交付測試數(shù)據(jù)，提高開發(fā)測試等輔助業(yè)務(wù)場景的處理效率。整個數(shù)據(jù)使用的管理應(yīng)具備集中的流程、統(tǒng)一的管理，而不是多個方案的拼湊缺乏一致性。與此同時，為貫徹落實數(shù)據(jù)安全法規(guī)，幫助企業(yè)實現(xiàn)對數(shù)據(jù)安全與效率的雙重管控，本期發(fā)布牛品推薦——上訊信息：敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品。

　　標簽

　　數(shù)據(jù)存儲、虛擬庫獨立操作、分鐘級交付、數(shù)據(jù)可視化、數(shù)據(jù)分類分級、數(shù)據(jù)仿真脫敏

　　用戶痛點

　　當前企業(yè)信息化建設(shè)的重點是推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，面對企業(yè)信息化建設(shè)體系中最為重要的數(shù)據(jù)資產(chǎn)，不僅要保證生產(chǎn)數(shù)據(jù)得到可靠的保護，也要保證非生產(chǎn)數(shù)據(jù)得到有效的管控。企業(yè)為了滿足開發(fā)測試、容災(zāi)、備份、數(shù)據(jù)分析等次級工作負載的需求，往往需要復(fù)制多份數(shù)據(jù)副本。冗余的數(shù)據(jù)副本雖然滿足了企業(yè)對數(shù)據(jù)全方位管理的需求，但是其在經(jīng)濟性、效率和安全性等方面也遇到了一些問題：

　　第一，需要投入更多不必要的存儲開支，以滿足數(shù)據(jù)冗余副本的存儲需求，因此產(chǎn)生了大量的數(shù)據(jù)孤島，影響數(shù)據(jù)的回收；

　　第二，數(shù)據(jù)準備時間周期長，傳統(tǒng)方式依靠人工拷貝需要3人以上、耗費數(shù)天甚至月余時間準備數(shù)據(jù)；

　　第三，數(shù)據(jù)安全存在風險，生產(chǎn)數(shù)據(jù)往往包含了用戶的敏感信息，如身份證號碼、聯(lián)系方式、地址等，這些數(shù)據(jù)一旦泄露，將給組織和用戶帶來負面影響。

　　因此，企業(yè)用戶需要一套針對數(shù)據(jù)的采集、傳輸、存儲、使用、流轉(zhuǎn)等各個關(guān)鍵環(huán)節(jié)進行管理的整體方案，其中數(shù)據(jù)采集可結(jié)合傳統(tǒng)的數(shù)據(jù)庫備份技術(shù)，但針對已有備份數(shù)據(jù)的恢復(fù)尚缺乏工具支持；針對副本數(shù)據(jù)缺乏快速、節(jié)約存儲的交付方式；針對數(shù)據(jù)脫敏的解決方案缺乏與數(shù)據(jù)交付相結(jié)合的快速分發(fā)功能。

　　解決方案

　　敏捷數(shù)據(jù)管理平臺（Agile Data Management）簡稱ADM，是國內(nèi)副本數(shù)據(jù)管理（CDM）領(lǐng)域的首創(chuàng)產(chǎn)品，重點攻克數(shù)據(jù)庫虛擬化等核心技術(shù)，主要針對企業(yè)上中下游數(shù)據(jù)提供高效使用與安全管控的綜合數(shù)據(jù)治理解決方案。在保證數(shù)據(jù)使用安全的同時，提高了數(shù)據(jù)使用效率并降低了數(shù)據(jù)存儲成本。ADM由生產(chǎn)數(shù)據(jù)管理、備份數(shù)據(jù)管理、測試數(shù)據(jù)管理以及敏感數(shù)據(jù)管理四大功能組成，實現(xiàn)了數(shù)據(jù)推送管理、數(shù)據(jù)分組管理和數(shù)據(jù)審計管理等輔助功能，通過自動化的方式達到了數(shù)據(jù)使用的成本控制、靈活管理與高效應(yīng)用的目標。

　　生產(chǎn)數(shù)據(jù)管理繼承傳統(tǒng)數(shù)據(jù)庫實時持續(xù)備份的技術(shù)，實現(xiàn)本機、異機快速恢復(fù)，突破首次全量，后續(xù)持續(xù)增量合成的備份方式，達到分鐘級的恢復(fù)時間、秒級的恢復(fù)粒度，實現(xiàn)數(shù)據(jù)庫的應(yīng)用級保護與備份數(shù)據(jù)有效性的自動校驗，對于上游生產(chǎn)數(shù)據(jù)的獲取提供了快捷的方式。

　　備份數(shù)據(jù)管理是一種通過對接企業(yè)用戶現(xiàn)有備份系統(tǒng)如NBU/CommVault等，獲取已有備份數(shù)據(jù)進行快速恢復(fù)、利用恢復(fù)數(shù)據(jù)交付下游非生產(chǎn)數(shù)據(jù)的功能。該功能主要是通過集中管理存儲資源、恢復(fù)服務(wù)器資源和恢復(fù)任務(wù)，保證存儲空間、恢復(fù)服務(wù)器和恢復(fù)任務(wù)的自動調(diào)度，從而實現(xiàn)備份數(shù)據(jù)有效性驗證的全自動化，并且根據(jù)驗證結(jié)果生成詳細的恢復(fù)驗證報告。ADM自動恢復(fù)備份數(shù)據(jù)可充分盤活備份數(shù)據(jù)，實現(xiàn)對備份數(shù)據(jù)的二次利用，降低生產(chǎn)數(shù)據(jù)獲取對核心業(yè)務(wù)造成的影響，同時內(nèi)置數(shù)據(jù)壓縮存儲池壓縮比高達4:1，大大節(jié)約了獲取數(shù)據(jù)存儲的后續(xù)成本。

　　敏感數(shù)據(jù)管理是該產(chǎn)品在中游進行數(shù)據(jù)處理的關(guān)鍵功能，提供敏感數(shù)據(jù)的自動識別與仿真脫敏，針對敏感數(shù)據(jù)識別提供通用數(shù)據(jù)特征庫、全庫與子集自動掃描，數(shù)據(jù)內(nèi)容、字段類型、約束關(guān)系均可以實現(xiàn)自動識別，并依據(jù)類型特征加以分類分級；內(nèi)置豐富脫敏算法對敏感數(shù)據(jù)進行隨機化、模糊化、高仿真度替換，保證脫敏后數(shù)據(jù)的完整性、仿真性以及數(shù)據(jù)間邏輯性。

　　測試數(shù)據(jù)管理是該產(chǎn)品針對數(shù)據(jù)使用流轉(zhuǎn)和交付環(huán)節(jié)的核心功能，上訊通過自研的專利技術(shù)——數(shù)據(jù)庫虛擬化，體現(xiàn)了副本數(shù)據(jù)管理（CDM）的技術(shù)先進性，將生產(chǎn)數(shù)據(jù)管理與備份數(shù)據(jù)管理以及數(shù)據(jù)按需上傳等多途徑獲取的原始黃金數(shù)據(jù)庫副本，經(jīng)過虛擬化技術(shù)的轉(zhuǎn)換，創(chuàng)建成多份虛擬數(shù)據(jù)庫。虛擬數(shù)據(jù)庫的特點在于對來源于原始黃金副本90%的相同數(shù)據(jù)不占用存儲空間，僅對新增寫操作計入存儲占用，即對存儲資源的虛擬占用；而對多個同時在線的虛擬數(shù)據(jù)庫操作獨立，互不干擾；同時虛擬數(shù)據(jù)庫創(chuàng)建速度非?？?，TB量級的數(shù)據(jù)庫幾分鐘完成交付。借助ADM集中的數(shù)據(jù)使用流程，通過跟蹤數(shù)據(jù)流向，識別虛擬數(shù)據(jù)庫使用狀態(tài)，實時拍攝快照，實現(xiàn)數(shù)據(jù)版本的保留，進而快速回退或切換版本，以此實現(xiàn)對測試數(shù)據(jù)版本的靈活管理。

　　通過ADM產(chǎn)品的部署應(yīng)用解決了企業(yè)在IT建設(shè)方面對數(shù)據(jù)上中下游的集中管控問題，上游既可以防護數(shù)據(jù)丟失和保障業(yè)務(wù)持續(xù)，也可以為下游提供原始數(shù)據(jù)，通過ADM一體化平臺減少了操作復(fù)雜性和步驟繁瑣度；備份數(shù)據(jù)管理提供了一種對現(xiàn)有備份數(shù)據(jù)的二次利用的手段，徹底盤活了這部分“暗數(shù)據(jù)”，通過自動化流程擺脫了大量人力、設(shè)備以及存儲資源的投入，一次恢復(fù)任務(wù)成功后可建立周期性恢復(fù)任務(wù)，簡化了工作難度。

　　敏感數(shù)據(jù)管理提供對隱私數(shù)據(jù)的自動識別和仿真脫敏，避免了人為發(fā)現(xiàn)不徹底的現(xiàn)象，豐富了脫敏算法，使脫敏后的“假數(shù)據(jù)”更能滿足真實的場景驗證需求。測試數(shù)據(jù)管理規(guī)范了《網(wǎng)絡(luò)安全法》頒布實施以來的數(shù)據(jù)申請流程，既保證了數(shù)據(jù)申請到使用的流程安全也加快了程序升級的業(yè)務(wù)周期，使數(shù)據(jù)孤島變?yōu)橛雄E可循的數(shù)據(jù)分支，通過可視化資源拓撲圖對數(shù)據(jù)使用流轉(zhuǎn)情況一目了然，同時創(chuàng)新的數(shù)據(jù)壓縮存儲池大大減少了對數(shù)據(jù)使用過程中存儲的占用，顯著降低了數(shù)據(jù)存儲成本。ADM集中管理數(shù)據(jù)的采集、傳輸、存儲、使用、流轉(zhuǎn)的方式，解決了企業(yè)數(shù)據(jù)使用全流程安全管控的實際需求。

　　產(chǎn)品部署拓撲圖：

　　企業(yè)用戶通過部署應(yīng)用ADM產(chǎn)品能夠?qū)崿F(xiàn)以下的收益：

　　（1）滿足產(chǎn)品的國產(chǎn)化，保證技術(shù)自主可控

　　ADM產(chǎn)品完全自主研發(fā)，全面掌握數(shù)據(jù)的獲取、存儲、數(shù)據(jù)庫虛擬化、脫敏技術(shù)，確保針對上中下游數(shù)據(jù)的應(yīng)用系統(tǒng)完全自主可控，減少依賴外部技術(shù)帶來的潛在風險。

　?。?）實現(xiàn)資源綠色節(jié)能，降低存儲成本

　　持續(xù)優(yōu)化的數(shù)據(jù)庫虛擬化技術(shù)解決了數(shù)據(jù)使用過程速度和頻率問題，避免了底層過度占用存儲資源的現(xiàn)象，緩解了存儲容量的壓力。

　　（3）數(shù)據(jù)監(jiān)控跟蹤，提升數(shù)據(jù)流轉(zhuǎn)效率

　　數(shù)據(jù)庫使用過程中可監(jiān)控、可追溯，根據(jù)相應(yīng)管理制度釋放占用的服務(wù)器與內(nèi)存資源，實現(xiàn)集中統(tǒng)一的管理。

　?。?）數(shù)據(jù)使用流轉(zhuǎn)可視化監(jiān)控

　　將數(shù)據(jù)脫敏和數(shù)據(jù)流轉(zhuǎn)無縫結(jié)合，數(shù)據(jù)流轉(zhuǎn)以樹狀拓撲圖動態(tài)展示，監(jiān)控數(shù)據(jù)分支情況。

　　用戶反饋

　　中國鐵塔在云上管理的應(yīng)用系統(tǒng)達到130多套，虛機5千多臺，整體存儲容量7PB，數(shù)據(jù)規(guī)模超過700TB，存在冗余數(shù)據(jù)副本管理困難、測試數(shù)據(jù)交付慢等問題。在引入上訊的ADM產(chǎn)品之后，鐵塔的測試數(shù)據(jù)交付以自動化、智能化的方式替代了落后的人工拷貝數(shù)據(jù)方式，測試數(shù)據(jù)交付效率提高了15倍，存儲空間占用降低了約一半。其具體應(yīng)用于中國鐵塔的兩個工作場景中：一個是測試數(shù)據(jù)的極速交付，一個是備份數(shù)據(jù)自動化恢復(fù)與有效性驗證。不但提高了鐵塔的業(yè)務(wù)開發(fā)和測試效率，還讓IT部門有更多的時間和精力用在創(chuàng)新方面，加速助力我公司的IT部門由原來單純的支撐部門真正變成企業(yè)業(yè)務(wù)發(fā)展的核心部門。

　　——中國鐵塔

　　ADM解決方案大幅提高了中信銀行在開發(fā)測試環(huán)境中的工作效率，使數(shù)據(jù)環(huán)境準備時間縮短到原來的20%以下。

　　而且ADM產(chǎn)品解決了中信銀行在實際應(yīng)用場景下，在數(shù)據(jù)管理效率、安全性和經(jīng)濟性等方面的一系列問題，ADM解決方案的新技術(shù)與傳統(tǒng)銀行業(yè)務(wù)的融合迸發(fā)出創(chuàng)新力，加速推進了中信銀行的產(chǎn)業(yè)化數(shù)字轉(zhuǎn)型，提升了中信銀行在新業(yè)態(tài)背景下金融領(lǐng)域的核心競爭力。

　　——中信銀行

　　東海證券通過對信息部門業(yè)務(wù)網(wǎng)絡(luò)中存在風險的現(xiàn)狀進行梳理，發(fā)現(xiàn)數(shù)據(jù)使用流程缺乏統(tǒng)一的管理入口，下游測試數(shù)據(jù)交付速度慢，非生產(chǎn)環(huán)境中存在大量的數(shù)據(jù)孤島，極易受到安全威脅。在采用了敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品后，大大提升了東海證券的網(wǎng)絡(luò)安全攻防能力，保證了敏感數(shù)據(jù)的測試準確性和檢測效率，同時，靈活的全流程管控方式保證了我們自身數(shù)據(jù)資產(chǎn)的完整性和可恢復(fù)性。

　　——東海證券

　　推薦理由

　　2021年6月10日，《中華人民共和國數(shù)據(jù)安全法》正式公布，將于9月1日開始實施。《數(shù)據(jù)安全法》強調(diào)了企業(yè)在保護數(shù)據(jù)安全中應(yīng)承擔的責任：企業(yè)需要制定相關(guān)制度來保障數(shù)據(jù)安全，補救數(shù)據(jù)安全風險，上報數(shù)據(jù)安全事件。企業(yè)數(shù)據(jù)使用安全有兩個重點工作：一是數(shù)據(jù)交付效率，保證數(shù)據(jù)使用過程中流轉(zhuǎn)和分發(fā)的效率，提高輔助決策業(yè)務(wù)的高效性；二是防止敏感數(shù)據(jù)泄露。

　　上訊信息敏捷數(shù)據(jù)管理平臺ADM這款產(chǎn)品針對的是數(shù)據(jù)使用交付效率及敏感數(shù)據(jù)泄露的安全防護，使數(shù)據(jù)使用過程中兼具效率和安全性的雙重保障，節(jié)省了人力資源、降低存儲成本并減少了企業(yè)的數(shù)據(jù)安全風險。