1 制造大數(shù)據(jù)的產(chǎn)生和研究現(xiàn)狀

1.1 制造大數(shù)據(jù)的研究現(xiàn)狀

    大數(shù)據(jù)一詞在《The Third Wave》一書中最早被提出后，在農(nóng)業(yè)、交通、金融、醫(yī)療、遙感等行業(yè)得到了充分的發(fā)展和應(yīng)用，制造業(yè)也不例外，尤其在2013年的《中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書》中，明確指出在制造業(yè)采用大數(shù)據(jù)技術(shù)可以減少20%到50%的產(chǎn)品開發(fā)時間，促進制造業(yè)的轉(zhuǎn)型升級；在2014年的《大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書》中強調(diào)必須推動大數(shù)據(jù)在大規(guī)模制造業(yè)生產(chǎn)過程中的應(yīng)用，鼓勵企業(yè)運用大數(shù)據(jù)開展個性化定制，創(chuàng)新生產(chǎn)管理模式，降低生產(chǎn)成本，提高企業(yè)競爭力。

    文獻[1]提出一種基于服務(wù)的制造數(shù)據(jù)管理方法，實現(xiàn)了產(chǎn)品研制和生產(chǎn)制造過程的有效管理；文獻[2]利用物聯(lián)網(wǎng)技術(shù)加強制造信息的管理和服務(wù)，旨在利用大數(shù)據(jù)技術(shù)構(gòu)建一個高效節(jié)能、綠色環(huán)保的人性化工廠；文獻[3]利用RFID技術(shù)實現(xiàn)生產(chǎn)制造過程的工人、工序、工件、工時的實時統(tǒng)計和分析，便于質(zhì)量管理和追溯的目的；文獻[4]提出一套制造執(zhí)行系統(tǒng)的關(guān)鍵技術(shù)體系和實現(xiàn)框架，為解決生產(chǎn)制造過程實時數(shù)據(jù)采集和傳輸提供了技術(shù)支持；文獻[5]闡述了一種融合RFID和條形碼的生產(chǎn)制造過程自動識別技術(shù)；文獻[6]通過對制造單元感知實體屬性和感知設(shè)備方面的分析，實現(xiàn)對生產(chǎn)線制造過程的實時跟蹤、精確管理。

    綜上文獻資料，學(xué)術(shù)界近幾年對制造領(lǐng)域的數(shù)據(jù)分析和處理進行了大量的科學(xué)研究。隨著制造業(yè)信息化進程的推進，制造業(yè)產(chǎn)生的數(shù)據(jù)量呈爆炸式增長趨勢，傳統(tǒng)的數(shù)據(jù)分析和挖掘算法在數(shù)據(jù)維度和規(guī)模增大時，需要的內(nèi)存和硬件資源呈指數(shù)級增長，尤其是處理PB級別數(shù)據(jù)量時，其時空復(fù)雜度表現(xiàn)為線性增長，超出人們能夠忍受的正常范圍，急需更簡單有效的算法來解決當(dāng)前的問題。本文在闡述制造大數(shù)據(jù)研究現(xiàn)狀的基礎(chǔ)上，綜合分析其來源，給出制造大數(shù)據(jù)的定義，并提出一種制造大數(shù)據(jù)的技術(shù)架構(gòu)，同時展開其關(guān)鍵技術(shù)的探討。

1.2 制造大數(shù)據(jù)的產(chǎn)生

    E-works的黃培博士早在2012績效年會開幕致辭《中國制造業(yè)的大數(shù)據(jù)時代》中提到制造業(yè)處于數(shù)據(jù)爆炸的時代。車間的產(chǎn)品數(shù)據(jù)，流通階段的運營數(shù)據(jù)，客戶、廠商和合作者之間的價值鏈數(shù)據(jù)、市場的輿情數(shù)據(jù)、行業(yè)競爭對手的數(shù)據(jù)、國家政策信息以及PDM、MES、ERP、CRM、SCM、CAD/M/E、CAPP等軟件和RFID射頻識別、物聯(lián)網(wǎng)、傳感器、電子標(biāo)簽、互聯(lián)網(wǎng)+等技術(shù)在制造業(yè)的廣泛應(yīng)用，促進了制造模式的創(chuàng)新，產(chǎn)生了制造大數(shù)據(jù)。

1.3 制造大數(shù)據(jù)的概念

    目前業(yè)界對大數(shù)據(jù)的定義尚有爭議，研究機構(gòu)Gartner認(rèn)為“大數(shù)據(jù)”是在新處理模式下具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)；麥肯錫給出的定義是：一種在獲取、存儲、管理、分析方面規(guī)模巨大，超出了傳統(tǒng)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征^[7-8]，后者的觀點更能得到業(yè)界的普遍認(rèn)同。

    綜合各界對大數(shù)據(jù)的闡述，結(jié)合制造業(yè)信息化的概念及應(yīng)用^[9]，將制造大數(shù)據(jù)定義為：制造業(yè)通過網(wǎng)絡(luò)化、數(shù)字化形成的海量異構(gòu)制造行業(yè)數(shù)據(jù)資產(chǎn)匯聚，通過信息驅(qū)動的制造行業(yè)數(shù)據(jù)資源應(yīng)用，為改造和提升制造業(yè)創(chuàng)新制造及服務(wù)能力、促進轉(zhuǎn)型升級、實現(xiàn)智慧制造提供了支撐^[10]。

2 制造大數(shù)據(jù)的技術(shù)架構(gòu)

2.1 制造大數(shù)據(jù)處理流程分析

    制造大數(shù)據(jù)的處理流程^[11]如圖1所示，主要包括以下部分：(1)傳感器，是制造大數(shù)據(jù)的主要采集工具；(2)采集中間件，負(fù)責(zé)源數(shù)據(jù)的采集，同時對數(shù)據(jù)預(yù)處理，消除數(shù)據(jù)不確定性，規(guī)范化處理數(shù)據(jù)；(3)存儲中間件，制造大數(shù)據(jù)具有海量、異構(gòu)、實時、多源的特點，從而要求存儲設(shè)備實現(xiàn)性能和容量的線性擴展；(4)處理中間件，數(shù)據(jù)處理離不開規(guī)則約束下的有效挖掘，因此，高效的人工智能、機械學(xué)習(xí)、數(shù)據(jù)挖掘算法是基礎(chǔ)技術(shù)；(5)安全管理中間件，制造大數(shù)據(jù)的應(yīng)用絕大部分用于車間、工廠、企業(yè)、市場，其數(shù)據(jù)的安全性和準(zhǔn)確性直接關(guān)系到應(yīng)用的有效性；(6)制造大數(shù)據(jù)應(yīng)用，是制造業(yè)信息化、網(wǎng)絡(luò)化、智能化的最終體現(xiàn)。

2.2 制造大數(shù)據(jù)技術(shù)架構(gòu)分析

    基于數(shù)據(jù)驅(qū)動的制造大數(shù)據(jù)處理流程分析，提出如圖2所示的制造大數(shù)據(jù)技術(shù)架構(gòu)，主要包括數(shù)據(jù)采集、預(yù)處理、分析、應(yīng)用4個部分^[12-13]。(1)數(shù)據(jù)采集，以傳感器為主要采集工具，結(jié)合FRID、條碼掃描器、生產(chǎn)和監(jiān)測設(shè)備、PDA、人機交互、智能終端等手段采集制造領(lǐng)域多源、異構(gòu)數(shù)據(jù)信息，并通過互聯(lián)網(wǎng)等技術(shù)實現(xiàn)源數(shù)據(jù)的實時準(zhǔn)確傳輸。采集的源數(shù)據(jù)歸納起來一共是結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化三類數(shù)據(jù)，相應(yīng)的數(shù)據(jù)說明如表1所示。(2)數(shù)據(jù)預(yù)處理，首次采集獲得的源數(shù)據(jù)是多維異構(gòu)的，為避免噪音或干擾項給后期分析帶來的困難，必須執(zhí)行同構(gòu)化處理，同時將處理結(jié)果有效存儲在性能和容量都能線性擴展的分布式數(shù)據(jù)庫中。數(shù)據(jù)預(yù)處理包括四個步驟^[14]：數(shù)據(jù)清洗、數(shù)據(jù)交換、數(shù)據(jù)集成、數(shù)據(jù)歸約；(3)數(shù)據(jù)分析，在傳統(tǒng)數(shù)據(jù)挖掘的基礎(chǔ)上，結(jié)合新興的云計算、Hadoop、專家系統(tǒng)等對同構(gòu)數(shù)據(jù)執(zhí)行高效準(zhǔn)確地分析運算，并用可視化技術(shù)展示結(jié)果；(4)數(shù)據(jù)應(yīng)用，主要應(yīng)用于車間、工廠的流程管控和優(yōu)化，產(chǎn)品研發(fā)的決策支持，質(zhì)量檢測和故障預(yù)警，供應(yīng)鏈優(yōu)化等方面。

2.3 制造大數(shù)據(jù)關(guān)鍵技術(shù)分析

    制造系統(tǒng)中不僅包括制造設(shè)備軟硬件，還包括制造工藝等多維異構(gòu)數(shù)據(jù)。提高采集、分析和處理制造數(shù)據(jù)的能力，真實客觀地反映制造過程，是確保生產(chǎn)制造過程高效、可靠的關(guān)鍵。其中，云計算是基礎(chǔ)；分布式文件系統(tǒng)為其提供數(shù)據(jù)存儲架構(gòu)；分布式數(shù)據(jù)庫便于數(shù)據(jù)管理，同時提供高效的訪問速度；MapReduce等技術(shù)對異構(gòu)數(shù)據(jù)進行分析處理，最后利用可視化技術(shù)形象生動地呈現(xiàn)在用戶眼前，滿足用戶需求。

    (1)云計算

    在海量制造數(shù)據(jù)面前，如何分析、提取有效信息是企業(yè)的當(dāng)務(wù)之急。來自公有云、私有云和混合云之上的強大的云計算能力^[15]，是提取大數(shù)據(jù)價值的前提。云計算的核心服務(wù)包括三種類型：SaaS、PaaS和IaaS^[16]。

    (2)分布式技術(shù)

    分布式文件系統(tǒng)是指管理模式下的實際存儲資源，有的與本地節(jié)點直接物理連接，有的則通過互聯(lián)網(wǎng)與本地相連^[17]。目前常見的分布式文件系統(tǒng)有GFS、S3、TFS等。

    分布式數(shù)據(jù)庫的基本思想是將原來集中式關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個通過網(wǎng)絡(luò)連接的數(shù)據(jù)存儲節(jié)點上，以獲取更大的存儲容量和更高的并發(fā)訪問量。目前常見的分布式數(shù)據(jù)庫有BigTable、PNUTS和Dynamo等。

    (3)MapReduce技術(shù)

    MapReduce是基于Hadoop分布式平臺下的一種計算機編程模型，適用于大規(guī)模數(shù)據(jù)集的并行計算，它為底層程序員提供了一種快速開發(fā)、分析處理海量數(shù)據(jù)的環(huán)境，并且使這種模型下開發(fā)出來的程序能夠在一些大型的商業(yè)集群上以一種高速、穩(wěn)定、容錯的方式運行^[18-19]。

    (4)可視化技術(shù)

    數(shù)據(jù)可視化主要是借助于圖形化手段，清晰有效地傳達與溝通信息，便于非專業(yè)人士根據(jù)需要從不同的角度觀察和分析數(shù)據(jù)。如今，可視化的研究和應(yīng)用已經(jīng)覆蓋了科研界、企業(yè)界、社交網(wǎng)絡(luò)等多個領(lǐng)域。目前常用的可視化工具有FushionCarts、Tableau、Dipity等。

3 制造大數(shù)據(jù)的應(yīng)用

    (1)基于制造大數(shù)據(jù)的產(chǎn)品研發(fā)決策與優(yōu)化

    美國的福特汽車公司利用大數(shù)據(jù)分析的技術(shù)，打破公司內(nèi)部數(shù)據(jù)孤島，通過分析外部收集的數(shù)據(jù)和內(nèi)部反饋的詳細(xì)數(shù)據(jù)，探索最佳工藝指標(biāo)和生產(chǎn)流程，改進或幫助改變其業(yè)務(wù)模式，對內(nèi)指導(dǎo)公司生產(chǎn)流水線，提高產(chǎn)品質(zhì)量，對外推廣市場，贏得較好的口碑和效益，使得福特實現(xiàn)了連續(xù)17個季度盈利。

    (2)基于制造大數(shù)據(jù)的生產(chǎn)流程管控與優(yōu)化

    家居行業(yè)的尚品宅配利用大數(shù)據(jù)分析的技術(shù)，串聯(lián)整個產(chǎn)業(yè)鏈，實現(xiàn)了柔性生產(chǎn)和大規(guī)模定制。通過收集樓盤、房型數(shù)據(jù)建立房型庫，再擴展到產(chǎn)品庫、設(shè)計庫、解決方案庫的三位一體，形成云設(shè)計庫。基于此，公司產(chǎn)能提高了10倍，出錯率則從30%下降到了3%以下，交貨周期從30天縮短到了15天以內(nèi)，實現(xiàn)了徹底的零庫存。

    (3)基于制造大數(shù)據(jù)的價值鏈集成和綜合決策

    中國石油依托大數(shù)據(jù)技術(shù)發(fā)展其“資源、市場、國際化”的戰(zhàn)略。首先，通過挖掘數(shù)據(jù)潛在價值，實現(xiàn)新的油氣增產(chǎn)；其次，通過完善數(shù)據(jù)收集分析和監(jiān)測體系，擴大市場份額；最后，通過對重點資源國地緣政治、經(jīng)濟動態(tài)的分析和把握，建立良性互動的競爭合作關(guān)系，從而為正確實施“走出去”戰(zhàn)略，降低海外投資風(fēng)險提供保障。

4 制造大數(shù)據(jù)的挑戰(zhàn)

    結(jié)合我國制造業(yè)的現(xiàn)狀和大數(shù)據(jù)的瓶頸，制造大數(shù)據(jù)帶來的挑戰(zhàn)表現(xiàn)為以下幾點：

    (1)制造大數(shù)據(jù)多源異構(gòu)融合的復(fù)雜性

    制造大數(shù)據(jù)來源廣泛，種類繁多，關(guān)系繁雜。目前缺乏對實時、多源、不確定數(shù)據(jù)的有效自動識別和獲取的解決方案，致使數(shù)據(jù)質(zhì)量參差不齊，難以實現(xiàn)低成本、低能耗、高可靠性的目標(biāo)。如何構(gòu)建融合多源異構(gòu)數(shù)據(jù)的泛化模型是制造大數(shù)據(jù)在感知、分析和處理時面臨的巨大挑戰(zhàn)。

    (2)制造大數(shù)據(jù)團隊的核心技術(shù)和運營理念

    中國的制造業(yè)大而不強，源于兩個因素：核心技術(shù)依賴于國外、缺乏資源整合和運作的團隊領(lǐng)導(dǎo)能力。大數(shù)據(jù)的熱潮帶來了創(chuàng)新的思維模式和革新的信息技術(shù)，實現(xiàn)技術(shù)升級和管理升級是中國制造業(yè)面臨的迫切需求。因此，如何培養(yǎng)一批“懂中國”、“懂技術(shù)”、“懂管理”的本土專業(yè)人才是當(dāng)前面臨的又一大挑戰(zhàn)。

    (3)制造大數(shù)據(jù)技術(shù)有效實施的安全手段

    制造大數(shù)據(jù)自身的特點決定了其處理方式的多樣性、靈活性和廣泛性，大量數(shù)據(jù)信息跨界傳送，使得安全問題相伴而生。黑客、病毒、人為故障、自然災(zāi)害等因素都是潛在的安全隱患。常用的數(shù)據(jù)保護措施不再適用，如何開發(fā)出行之有效的保密手段將是下一階段的難點之一。

5 制造大數(shù)據(jù)展望

    兩化深度融合、發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)和先進制造業(yè)是保持我國制造業(yè)競爭優(yōu)勢的重要支撐。未來十年是我國制造業(yè)依靠制造大數(shù)據(jù)技術(shù)轉(zhuǎn)型升級，從“制造大國”走向“制造強國”的關(guān)鍵時期。通過大力推行數(shù)字化、網(wǎng)絡(luò)化、智能化手段，提高創(chuàng)新設(shè)計能力，提升產(chǎn)品質(zhì)量，主要發(fā)展以下方向：

    (1)基于制造大數(shù)據(jù)的可持續(xù)發(fā)展

    可持續(xù)生產(chǎn)發(fā)展關(guān)鍵的兩個方面是能源消耗的最小化和廢物排放最少化。因此，制造產(chǎn)品全生命周期中對環(huán)境資源的一體化需求驅(qū)使用戶思考和使用新的決策工具。借助于制造大數(shù)據(jù)的契機，積極推進制造業(yè)的轉(zhuǎn)型升級，通過采集、存儲、分析制造業(yè)的大數(shù)據(jù)有望實現(xiàn)制造業(yè)資源的浪費最小化和能源最大化利用的目標(biāo)。

    (2)基于制造大數(shù)據(jù)的智慧制造

    在制造業(yè)轉(zhuǎn)型升級過程中，制造業(yè)正朝著數(shù)字化、信息化、網(wǎng)絡(luò)化、綠色化為一體的智慧制造方向前進。在未來一段時期，基于制造大數(shù)據(jù)技術(shù)的智慧制造企業(yè)將支撐起中國制造業(yè)的可持續(xù)發(fā)展，智慧工廠就是一個典型。在智慧工廠中，通過人與智能設(shè)備的有機協(xié)作，利用物聯(lián)網(wǎng)感知監(jiān)控技術(shù)加強生產(chǎn)線的可控性，最終提升企業(yè)競爭力，促進工業(yè)增長。

    (3)基于制造大數(shù)據(jù)的互聯(lián)網(wǎng)+協(xié)同制造

    依托互聯(lián)網(wǎng)+，制造業(yè)需要通過兩化深度融合，利用制造大數(shù)據(jù)技術(shù)實現(xiàn)用戶、車間、工廠、企業(yè)等各個環(huán)節(jié)數(shù)據(jù)的快速傳遞，構(gòu)建網(wǎng)絡(luò)化協(xié)同制造公共服務(wù)平臺，加快形成網(wǎng)絡(luò)化制造業(yè)生態(tài)體系，實現(xiàn)產(chǎn)品全生命周期的互聯(lián)、互通、協(xié)同，真正滿足市場客戶的個性化定制需求，使企業(yè)實現(xiàn)從單純制造向“制造+服務(wù)”的轉(zhuǎn)型升級，最終促進國民經(jīng)濟的發(fā)展。

參考文獻

[1] 劉威，喬立紅，楊建軍.基于服務(wù)的制造數(shù)據(jù)管理[J].計算機集成制造系統(tǒng)，2009(7)：1342-1348.

[2] JAMES T.Smart factories[J].Engineering and Technology，2012，7(6)：64-67.

[3] YAO X，DAI H，ZHANG Z.RFID-enhanced integrated manufacturing for Job-shop floor problems[J].Icic Express Letters Part B Applications，2011(2)：319-324.

[4] 張映鋒，趙曦濱，孫樹棟，等.一種基于物聯(lián)技術(shù)的制造執(zhí)行系統(tǒng)實現(xiàn)方法與關(guān)鍵技術(shù)[J].計算機集成制造系統(tǒng)，2012(12)：2634-2642.

[5] LIU W N，ZHENG L J，SUN D H，et al.RFID-enabled real-time production management system for Loncin motorcycle assembly line[J].International Journal of Computer Integrated Manufacturing，2012，25(1)：86-99.

[6] 彭煜.制造單元物聯(lián)感知關(guān)鍵技術(shù)的研究與實踐[D].武漢：武漢理工大學(xué)，2013.

[7] 王珊，王會舉，覃雄派，等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學(xué)報，2011(10)：1741-1752.

[8] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J].計算機學(xué)報，2013(6)：1125-1138.

[9] 顧新建，張棟，紀(jì)楊建，等.制造業(yè)服務(wù)化和信息化融合技術(shù)[J].計算機集成制造系統(tǒng)，2010(11)：2530-2536.

[10] 陳偉興，李少波，黃海松.離散型制造物聯(lián)過程數(shù)據(jù)主動感知及管理模型[J].計算機集成制造系統(tǒng)，2016(1)：166-176.

[11] 張桂剛，畢婭，李超，等.海量物聯(lián)網(wǎng)數(shù)據(jù)安全處理模型研究[J].小型微型計算機系統(tǒng)，2013(9)：2090-2094.

[12] 孟小峰，慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013(1)：146-169.

[13] 劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(工學(xué)版)，2014(6)：957-972.

[14] HUANG J，LI Y F，XIE M.An empirical analysis of data preprocessing for machine learning-based software cost estimation[J].Information & Software Technology，2015，67：108-127.

[15] MELL P，GRANCE T.The NIST definition of cloud computing[J].National Institute of Standards and Technology，2009，53(6)：50.

[16] QI Z，LU C，BOUTABA R.Cloud computing: state-of-the-art and research challenges[J].Journal of Internet Services & Applications，2010，1(1)：7-18.

[17] 周江，王偉平，孟丹，等.面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J].計算機研究與發(fā)展，2014(2)：382-394.

[18] 覃雄派，王會舉，杜小勇，等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報，2012(1)：32-45.

[19] XIAO Z，XIAO Y.Achieving Accountable MapReduce in cloud computing[J].Future Generation Computer Systems，2014，30(1)：1-13.