文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.2017.02.002
中文引用格式： 李少波，陳永前. 大數據環(huán)境下制造業(yè)關鍵技術分析[J].電子技術應用，2017，43(2)：18-21，25.
英文引用格式： Li Shaobo，Chen Yongqian. Analysis on key technologies of manufacturing industry in big data environment[J].Application of Electronic Technique，2017，43(2)：18-21，25.
0 引言
大數據（Big Data）這一概念的提出最早可以追溯到上世紀80年代[1]，當時并沒有得到人們的關注。直到2008年，著名雜志Nature出版了專刊《Big Data：Science in the Petabyte Era》[2]，從經濟學、互聯(lián)網技術、環(huán)境科學等多個領域介紹海量數據帶來的挑戰(zhàn)。從此大數據一詞被廣泛傳播，受到了各個國家、政府及各界的廣泛關注與研究，并在IT、金融、互聯(lián)網等行業(yè)得到了較大的發(fā)展與利用[3]。
制造業(yè)作為國家經濟支柱性產業(yè)，是我國綜合國力的表現(xiàn)，充分地應用和挖掘制造業(yè)中的數據逐漸成為行業(yè)研究和討論的熱點[4]。制造業(yè)具有地理分布廣泛，制造類型多，制造過程復雜多樣，涉及領域廣等眾多特點，是人類社會中最復雜的行業(yè)之一，這決定了制造業(yè)將產生龐大的數據量，且有著類型豐富、結構多樣、增長速度快等特點，是一個典型的行業(yè)大數據體現(xiàn)，以一個的典型的紡織制造企業(yè)來說，光是一個制造車間一天的數據量都將達到84 GB[5]。在制造業(yè)這種龐大的數據量與爆炸式的增長新形勢下，傳統(tǒng)的制造業(yè)技術將不再夠用，不能滿足制造行業(yè)從海量數據中快速獲取知識與信息的需求。因此，在大數據環(huán)境下，制造技術將發(fā)生巨大的進步與改革。
1 大數據下的制造業(yè)數據特點
1.1 大數據下的制造業(yè)數據來源
大數據不僅僅是一種數據處理技術，而是一種總體視角的體現(xiàn)，是一種綜合關聯(lián)性分析，發(fā)現(xiàn)具有潛在聯(lián)系之間的相關性，如將大數據單獨割裂來看，則大數據的大價值無從體現(xiàn)[6]。因此在進行制造業(yè)大數據分析時，必須全面地考慮制造業(yè)的數據來源。在互聯(lián)網、物聯(lián)網、移動互聯(lián)等技術快速發(fā)展的今天，制造業(yè)的數據來源不僅包括了產品設計與開發(fā)、產品加工與設備運行、倉庫管理等行業(yè)數據，同時還包含了市場、客戶關系、政府計劃、互聯(lián)網等外部數據。制造業(yè)大數據來源如圖1所示。
1.2 大數據下的制造業(yè)數據特點
“大數據”一詞在業(yè)界都被普遍認為有著“3V”特征[7]，即Volume（容量大）、Variety（種類多）、Velocity（速度快）。在制造業(yè)具有十分強的專業(yè)性、時序性、關聯(lián)性、流程性等特點情況下，不僅擁有大數據的“3V”特征，而且還有以下特征[8-9]：（1）強相關與高維度性。制造業(yè)各個數據間往往相互關聯(lián)相互耦合，從而構成一個復雜多變量的高維系統(tǒng)。（2）強烈的非線性。在產品的生產過程中的許多物理和化學變化都表現(xiàn)為不可測的、非線性的。（3）高噪聲?；ヂ?lián)網大數據主要在乎數據的統(tǒng)計顯著性，對數據噪音并沒有太大的要求，而對于制造業(yè)，只要出現(xiàn)一點差錯，都會造成巨大的損失，因此數據的高噪音是制造業(yè)大數據不可忽視的。
2 制造業(yè)的大數據技術架構
制造業(yè)的大數據分析平臺是根據業(yè)務的需求逐步勾畫出來的[10]。針對制造業(yè)大數據的業(yè)務特點，制造業(yè)大數據平臺在功能上應滿足多種類型數據的采集與導入，能存儲海量的、多樣的、多類型的制造業(yè)大數據，支持多種類型的數據分析方法和數據展示方法。從性能方面考慮，制造業(yè)大數據平臺總架構應滿足可擴展性、高錯容性與可靠性、實時性、較好的安全性以及低成本等要求[11]。
在制造過程中，對大數據的實時分析與處理，對制造過程的實時決策及實時控制，是企業(yè)生產安全有序進行、及時決策、提高效率、減少損失的重要保障[12]。另一方面，制造業(yè)是一個高維非線性的復雜性行業(yè)，一個普通的制造企業(yè)，其內部就包含著許多子系統(tǒng)，例如制造執(zhí)行系統(tǒng)（MES）、企業(yè)資源計劃（ERP）、產品數據管理（PDM）等。每一個子系統(tǒng)往往又包含著許多業(yè)務流程，產生著大量的數據，甚至可以單獨構成一個領域的大數據，例如供應鏈管理大數據就是大數據在供應鏈的一個應用[13]。
綜上，根據制造業(yè)實際需求和業(yè)務狀況相結合，勾畫出制造業(yè)大數據技術架構如圖2所示。在該架構中，系統(tǒng)先將各種來源的數據進行集成處理，再根據對各部分數據的要求與特點選擇不同的處理方式，并根據業(yè)務的需求進行分析，最后用不同的數據展現(xiàn)方式將信息傳達給各個應用系統(tǒng)。
3 大數據下的制造業(yè)關鍵技術
3.1 大數據集成技術
數據集成技術就是把不同來源、格式、特點、性質的數據在邏輯上或者物理上有機地集中，為系統(tǒng)存儲一系列面向主題的、相對穩(wěn)定的、反映歷史變化的數據集合，從而為系統(tǒng)提供全面的數據共享[14]。大數據的集成技術是解決制造企業(yè)各系統(tǒng)間的數據沉余和“信息孤島”的重要工具。按照數據集成點不同，可以將其分為源端和應用端數據集成。
（1）源端數據集成。在制造企業(yè)中，數據來源十分廣泛，數據格式復雜，不僅有傳統(tǒng)的內部生產數據，還有市場數據、客戶關系數據、價值鏈數據等。面對重多的數據來源和格式，如果直接將其進行大數據分析，不但會導致分析速度的下降，而且還會影響數據分析的質量[15]，因此在數據分析前將數據集成為統(tǒng)一格式是制造業(yè)大數據分析的重要步驟。源端數據集成如圖3所示。
（2）應用端的數據集成。制造業(yè)內部存在許多應用系統(tǒng)，例如生產應用、供應鏈應用、定制應用等，不同的應用系統(tǒng)間往往有不同的數據庫和數據形式，且各個應用系統(tǒng)之間的數據一般只能供自己使用，而這樣就很容易產生信息孤島。對應用端數據進行集成將會利于各個部門與系統(tǒng)間的信息共享，避免企業(yè)信息孤島的產生。應用端數據集成如圖4所示。
3.2 大數據存儲技術
大數據下的制造業(yè)對數據存儲將面臨著以下挑戰(zhàn)：（1）存儲數據量大，制造業(yè)大數據量將達到PB級別甚至更高；（2）制造業(yè)大數據來源廣，數據形式和數據結構都比較復雜；（3）滿足數據的完整性；（4）數據讀取和寫入速度應達到業(yè)務的需求；（5）具備可擴展性。顯然，傳統(tǒng)的數據庫明顯有點力不從心，制造業(yè)大數據的存儲還要尋求新的方法。分布式文件系統(tǒng)是大數據時代數據存儲最好的工具，比較有代表性的分布式文件系統(tǒng)當屬Hadoop的HDFS[16]。HDFS是受到Google文件系統(tǒng)(GFS)的啟發(fā)而構建的，有著支持超大文件、低延遲數據訪問、高錯容性、可擴展、可運行在普通機器上等優(yōu)點[17]，HDFS的工作原理如圖5所示[10][18]。
3.3 大數據處理技術
制造業(yè)的大數據處理技術主要包含了批處理、流處理和內存計算[19]，分別滿足制造業(yè)大數據處理的不同需求。
3.3.1 批處理技術
目前最主流的批處理技術當屬Google公司在2004年提出的MapReduce分布式計算模式，基于該框架寫出來的應用程序可以在普通機器群集上運行，能夠輕松地處理TB級別以上的數據集，且有良好的錯容性。
在MapReduce中，一個計算流程分為map和reduce兩個階段。在map階段，其輸入文件(Input file)往往會被劃分為固定大小的輸入塊（split）。每個塊都會對應著一個map任務，該map任務中的map函數會作用于split中的每一個記錄（record），一個記錄就是一個<key，value>鍵值對。map任務完成后，其結果(<key,value>鍵值對)會被進行分區(qū)（partition），然后暫時寫入到磁盤中，為reduce階段做準備。在reduce階段，map階段的每個partition都會被分配至某個reduce任務，等到reduce階段處理完成后，其結果將會被存入到分布式文件系統(tǒng)（HDFS）中。MapReduce整個處理流程如圖6所示[12]。
3.3.2 流處理技術
批處理技術對大批量靜態(tài)的數據處理是有效的，然而在制造企業(yè)中，不光要處理大批量的靜態(tài)數據，而且還要處理像生產監(jiān)控數據、故障警報數據等動態(tài)和大批量小數據。
流處理（Stream Computing）技術對這種數據的處理往往是非常有效的[20]。當有數據到來時，流處理工具就應該立刻響應，然后把處理后得到的信息馬上呈送給用戶或系統(tǒng)，這種數據處理無須數據準備時間，從而有很好的實時性。目前，流處理計算框架主要有：Apache S4、Storm、Scribe、Kafka等，下面用比較主流的S4進行介紹。
S4(Simple Scalable Streaming System)[21-22]是一個分布式流計算模型，S4有著良好的通用性、可擴展性、錯容性等優(yōu)點。S4在對數據處理時，將數據流看成是事件（Event）的序列流。每個Event是一個（K，A）元素，通過EventType來標示其類型。K、A分別表示這種類型的 Event的若干個關鍵字和若干個屬性。在這種抽象的基礎上，設計者將Processing Elements(PE)定義為S4中的最小數據計算單元。每個PE只負責處理Event type、屬性Key和屬性Value都匹配的事件，并最終輸出結果或新的（K，A）元素。每個S4都包含有若干個這樣的PE，當數據到來時，便立刻共同作業(yè)，完成數據流的處理。
3.3.3 內存計算
內存計算技術，就是指CPU直接從內存上讀取數據，并進行計算、分析。內存計算大大減少了從硬盤讀取數據的時間，是對傳統(tǒng)數據處理模式的一種速度提升。比較有代表性的內存計算系統(tǒng)有SAP HANA、Oracle Exadata和IBM pureData。
較批處理與流處理來說，內存計算的最大優(yōu)勢就在于其處理數據的速度，從而決定了內存計算非常適合需要實時獲得結果的數據，是制造業(yè)大數據分析和數據處理中的關鍵應用技術之一。 內存計算的原理非常簡單，如圖7所示[20]。
3.4 大數據分析技術
大數據技術的根本驅動力是將信號轉化為數據，將數據分析為消息，將消息提煉為知識，以知識促成決策和應用[24]。經過數據的集成與處理后，所得的數據便成為數據分析的原始數據，根據業(yè)務的需求與應用，再對數據進一步的分析，最后得到所需要的知識。
傳統(tǒng)意義上的數據分析技術是先將數據進行存儲，然后對數據進行篩選，建立數據中心，在此基礎上建立數據倉庫，再根據業(yè)務需求來進行聯(lián)機分析處理（OLAP）[11]。這種方法對于結構復雜、實時性要求高，分析程度較深的制造業(yè)大數據來說是無能為力的。根據制造業(yè)大數據的數據特點與業(yè)務要求，制造業(yè)大數據的數據分析主要面臨的困難是大量非結構化復雜數據分析和實時預測分析。因此可以利用以下思想去解決制造業(yè)大數據的分析難題：（1）對數據進行處理。在面臨結構復雜的大數據時，利用?；枷耄瑢⒋髷祿M行粒分，變大數據為小數據后再進行分析；（2）加強對新一代數據分析工具的利用與研究。例如EMC的GreenPlum數據分析工作臺、Teradata的Aster Data平臺等；（3）通過人工智能和機器學習等技術分析大數據[24]。
3.5 大數據展現(xiàn)技術
制造業(yè)的大數據展現(xiàn)技術可以分為制造過程數據展現(xiàn)技術、歷史數據展現(xiàn)技術及可視化技術。
制造過程數據展現(xiàn)技術是制造業(yè)大數據展現(xiàn)技術的關鍵部分。隨著制造物聯(lián)的快速發(fā)展，制造企業(yè)會產生大量生產現(xiàn)場實時數據，如果將這些實時數據實時展現(xiàn)出來，那么就可以清晰地了解到生產現(xiàn)場的實時變化情況，這樣不僅提高了企業(yè)的生產效率，而且能完善企業(yè)的資源配置，是實現(xiàn)智慧生產的重要步驟。
歷史數據展現(xiàn)技術主要體現(xiàn)在制造業(yè)對歷史數據的管理和展示上，這里的歷史數據一般指對實時性要求不是太強的數據，例如企業(yè)生產歷史數據、客戶關系數據、競爭對手數據等。企業(yè)對歷史數據分析展現(xiàn)，可以繪制出數據的發(fā)展趨勢并預測出未來的數據走勢，可以模擬歷史重大事件發(fā)生與演變，挖掘歷史事件潛在的知識與規(guī)律。
數據可視化技術是指運用計算機圖形學和圖像處理技術，將數據轉換為圖形或圖像在屏幕上顯示出來，并進行交互處理的方法和技術[25]。制造業(yè)的復雜性、多系統(tǒng)性決定了數據的分析結果會呈現(xiàn)出多維的特點。數據可視化技術正是解決這一系列問題的，它以一種簡單易懂的方式將復雜的數據呈現(xiàn)給我們，不僅讓我們更容易去理解數據，而且對發(fā)現(xiàn)數據中新的信息也起到非常關鍵的作用。目前常見的可視化技術有Tag cloud、History flow、Spatial information flow等。
4 結語
“中國制造2025”和德國“工業(yè)4.0”紛紛指出智能制造是制造業(yè)未來的發(fā)展趨勢，而大數據技術則是助力實現(xiàn)智能制造不可缺失的一把利劍。將來，制造技術不光是指傳統(tǒng)的機械加工等技術，而是一種集制造業(yè)與互聯(lián)網、物聯(lián)網、移動互聯(lián)、大數據、云計算等信息技術為一體的新局面，這是制造業(yè)智能化、綠色化的必要前提。大數據技術已廣泛使用在互聯(lián)網、電商、金融等行業(yè)，并創(chuàng)造了較大的商業(yè)價值，然而對于制造業(yè)來說，乃處在起步甚至是研究階段。因此，大力發(fā)展制造業(yè)大數據技術，挖掘制造業(yè)大數據的最大價值，促進制造業(yè)的轉型升級將是制造企業(yè)下一階段的重要任務與課題。
參考文獻
[1] 迪莉婭.我國大數據產業(yè)發(fā)展研究[J].科技進步與對策，2014，31（4）：56-60.
[2] MANYIKA J，CHUI M，BROWN B，et al．Big data：the next frontier for innovation，competition，and productivity[M].New York：Mc Kinse ＆ Company，2011．
[3] EKBLA H，MATTLOLL M，KOUPER I.Big Data，Bigger Dilemmas：A Critical Review[J].Journal of the Association for Information Science and Technology，2015(8).
[4] 王冰.大型流程工業(yè)集團級生產數據平臺的應用探討[J].科技與企業(yè)，2014（1）：129-130.
[5] 邵景鋒，賀興時，王進富，等.大數據環(huán)境下的紡織制造執(zhí)行系統(tǒng)設計[J].機械工程學報，2015(5)：160-170.
[6] 中國電機工程學會信息化專委會.中國電力大數據發(fā)展白皮書[M].北京：中國電力出版社，2013(11).
[7] Bello-Orgaz G，JUNG J J，CAMACHO D.Social big data：Recent achievements and new challenges[J].Information Fusion，2015(8).
[8] 楊水利，梁永康.制造企業(yè)服務化轉型影響因素扎根研究[J].科技進步與對策，2016，33（8）：101-105.
[9] KRUMEICH J，SCHIMMELPFENNIG J，JACOBI S.Advanced planning and control of manufacturing processes in steel industy though Big Data analytics[J].2014 IEEE International Conference on Big Data：2014.
[10] 趙剛.大數據技術與實踐指南[M].北京：電子工業(yè)出版社，2013.
[11] 王淑芬.基于大數據的制造運行監(jiān)測與分析平臺研究[D].廣州：廣東工業(yè)大學，2014.
[12] 楊正益.制造物聯(lián)海量實時數據處理方法研究[D].重慶：重慶大學，2012.
[13] 郭偉.大數據及其在供應鏈中的應用.供應鏈管理[J].2015（5）：200-220.
[14] 彭小圣，鄧迪元，程時杰，等.面向智能電網應用的電力大數據關鍵技術[J].中國電機工程學報，2015（2）：503-511.
[15] 樓巍.面向大數據的高維數據挖掘技術研究[D].上海：上海大學，2013.
[16] Apache.HDFS Architecture.http：//hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Hdfs Design.html#Introduction.
[17] 蔡斌，陳湘萍.Hadoop技術內幕：深入解析Hadoop Common和HDFS架構設計與實現(xiàn)原理[M].北京：機械工業(yè)出版社，2013.
[18] WHITE T.Hadoop：The Definitive Guide[M].O’Reilly Media，Inc，1005 Gravenstein Highway North，Sebastopol，CA95472，2009(7).
[19] KUMAR R.Two computational paradigm for big data[EB/OL].2012，http：//kdd2012.sigkdd.org/sites/images/summerschool/Ravi-Kumar.pdf.
[20] 徐飛.大數據流的實時處理研究[D].無錫：江南大學，2014.
[21] 崔星燦，禹曉輝，劉洋，等.分布式流處理技術綜述[J].計算機研究與發(fā)展，2015，52（2）：318-332.
[22] Aga.J.Yahoo!S4分布式流處理引擎分析總結[EB/OL].http：//www.cnblogs.com/aga-j/archive/2012/02/03/233-7151.html.2012（2）.
[23] 孫柏林．“大數據”技術及其在電力行業(yè)中的應用[J]．電氣時代，2013(8)：18-23.
[24] 工業(yè)和信息化部電信研究院.大數據白皮書(2014年)[R].工業(yè)和信息化部電信研究院，2014（5）.
[25] 唐澤圣，陳莉，鄧俊輝．三維數據場可視化[Ｍ]．北京：清華大學出版社，1999：1-6.
作者信息:
李少波1，2，陳永前1
(1.貴州大學 現(xiàn)代制造技術教育部重點實驗室，貴州 貴陽550025；2.貴州大學 機械工程學院，貴州 貴陽550025)