《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 可編程邏輯 > 業(yè)界動(dòng)態(tài) > 3D視頻處理:FPGA唱主角 ASIC急需標(biāo)準(zhǔn)

3D視頻處理:FPGA唱主角 ASIC急需標(biāo)準(zhǔn)

2010-03-11
作者:來源:中國電子報(bào)
關(guān)鍵詞: FPGA ASIC 3D

 

在電影《阿凡達(dá)》中,當(dāng)Neytiri救了地球人狀態(tài)的JakeSully時(shí),JakeSully一句深情的“Iseeyou”推動(dòng)劇情走向最高潮,這句臺(tái)詞隨之也被人們廣為傳誦。JakeSully和Neytiri對(duì)世界美好的愿望和共同的追求,使雙方互相看到了地球人和納威人之間不可分割的聯(lián)系,而觀眾則通過先進(jìn)的3D視頻處理技術(shù),觀賞到了3D電影的逼真效果,感受到這部電影帶來的震撼。 
 
      FPGA主導(dǎo)3D視頻處理市場(chǎng) 
 
      《阿凡達(dá)》3D電影的熱映,引發(fā)了前所未有的3D熱潮。不僅3D電影頻頻出擊,3D電視也著實(shí)火了一把,在前不久舉辦的CES(國際消費(fèi)電子產(chǎn)品展)展上,各大電視廠商包括索尼、三星、松下等等都紛紛推出3D電視,使之成為CES的最大亮點(diǎn)之一。而無論是電影、電視還是其他3D產(chǎn)品,其實(shí)都離不開一項(xiàng)關(guān)鍵技術(shù)———3D視頻處理,目前在這方面唱主角的則是FPGA(可編程邏輯門陣列)技術(shù)。 
 
      由于3D產(chǎn)業(yè)剛剛開始發(fā)展,在標(biāo)準(zhǔn)等方面還不完善,攝像設(shè)備與終端產(chǎn)品在視頻處理上都還沒有很成熟的ASIC(專用芯片)解決方案,因此FPGA就成為產(chǎn)品設(shè)計(jì)者的首選。據(jù)悉,F(xiàn)PGA兩大廠商賽靈思與Altera都在積極與3D產(chǎn)品制造商合作,并受益于該市場(chǎng)的發(fā)展。賽靈思公司亞太區(qū)市場(chǎng)及應(yīng)用總監(jiān)張宇清告訴記者,在當(dāng)前3D市場(chǎng)發(fā)展初期,半導(dǎo)體供應(yīng)商對(duì)3D視頻解決方案的投入多半不深,有些甚至還抱持著觀望態(tài)度,這段過渡期正是FPGA大顯身手的時(shí)機(jī)。 
 
      在2D視頻處理中常用的DSP(數(shù)字信號(hào)處理器)也難以滿足3D的復(fù)雜需求,而FPGA在3D應(yīng)用中則有諸多優(yōu)勢(shì)。另一家FPGA大廠Altera通訊及廣播應(yīng)用業(yè)務(wù)部資深技術(shù)市場(chǎng)經(jīng)理杜澤心表示,傳統(tǒng)的DSP處理器體系結(jié)構(gòu)只能夠?qū)崟r(shí)完成不太復(fù)雜的視頻處理功能,可以用在消費(fèi)類產(chǎn)品方面,但在廣播設(shè)備方面功能不夠強(qiáng)大,而最新的FPGA方案內(nèi)置了硬核DSP和存儲(chǔ)器模塊,效率和靈活性要遠(yuǎn)遠(yuǎn)優(yōu)于DSP器件。 
 
      記者對(duì)3D廠商的采訪也印證了上述觀點(diǎn)。深圳掌網(wǎng)立體時(shí)代視訊技術(shù)有限公司推出了3D照相機(jī)、數(shù)碼相框等多種產(chǎn)品。公司副總經(jīng)理夏登海告訴記者,由于市場(chǎng)及標(biāo)準(zhǔn)的不確定性,目前3D視頻處理多采用FPGA來實(shí)現(xiàn),它被集中應(yīng)用在圖像的獲取和2D轉(zhuǎn)3D上。他們目前采用FPGA來完成立體圖像的獲取、同步、合成以及顯示。“FPGA的優(yōu)勢(shì)在于它是全硬件處理,要求的極限速度低、外圍簡(jiǎn)單。”他表示。 
 
      ASIC處理器遭遇標(biāo)準(zhǔn)瓶頸 

      根據(jù)以往的經(jīng)驗(yàn),在有些消費(fèi)市場(chǎng),F(xiàn)PGA雖然具備設(shè)計(jì)的較大靈活性,但當(dāng)市場(chǎng)大規(guī)模啟動(dòng)之后,F(xiàn)PGA主導(dǎo)地位往往由于不具備成本優(yōu)勢(shì)而逐漸被ASIC取代。據(jù)悉,由于《阿凡達(dá)》等3D電影的帶動(dòng),3D產(chǎn)業(yè)很可能將快速啟動(dòng),產(chǎn)品規(guī)模量產(chǎn)的進(jìn)程也將被提速。中國立體視像(3D)產(chǎn)業(yè)聯(lián)盟秘書長(zhǎng)唐斌告訴記者,3D電影的火爆必將帶動(dòng)整個(gè)3D消費(fèi)電子的大發(fā)展,2010年被業(yè)內(nèi)人士稱作“3D電視元年”,這一年將有很多國際廠商將自己的3D電視推向市場(chǎng)。而3D筆記本、投影儀、攝像機(jī)、照相機(jī)、數(shù)碼相框等產(chǎn)品也將隨之發(fā)展。因此,3D視頻處理ASIC的進(jìn)展也值得業(yè)界關(guān)注。 
 
      據(jù)夏登海預(yù)計(jì),今年應(yīng)用于電視的3D處理芯片將大量上市,目前正在積極開發(fā)的有三星等公司,預(yù)計(jì)在年中會(huì)出現(xiàn)在電視產(chǎn)品中。記者注意到,泰鼎微系統(tǒng)公司也推出了一款3D電視視頻協(xié)處理器,其電視業(yè)務(wù)部門市場(chǎng)經(jīng)理JosKlippert對(duì)記者表示,這款芯片能夠處理3D幀序列(以多種輸入格式),采用該款器件的產(chǎn)品無須為了3D而采用FPGA,從而降低了3D系統(tǒng)的整體成本。 
 
      雖然未來將有ASIC的競(jìng)爭(zhēng),但FPGA廠商對(duì)3D視頻處理市場(chǎng)的看法仍然十分樂觀。杜澤心認(rèn)為,盡管在消費(fèi)類產(chǎn)品市場(chǎng)當(dāng)標(biāo)準(zhǔn)最終完善后,由于成本原因ASIC或者ASSP(專用標(biāo)準(zhǔn)芯片)或?qū)⑻娲鶩PGA,但在專業(yè)廣播設(shè)備領(lǐng)域,仍將是FPGA的天下。3D終端售價(jià)高是其不能普及的關(guān)鍵問題之一,從這個(gè)意義上說,F(xiàn)PGA能否提供不斷降低成本的方案將是其生命力的關(guān)鍵所在。 
 
      在成本降低方面,夏登海也提出了另一種看法,他認(rèn)為將3D立體處理芯片與壓縮編碼芯片、CPU等合成一個(gè)SoC(系統(tǒng)級(jí)芯片),將是有效降低成本的辦法。 
 
      但不管是ASIC還是SoC方案,都必須有一個(gè)前提,就是標(biāo)準(zhǔn)必須明確,在沒有相關(guān)行業(yè)標(biāo)準(zhǔn)的時(shí)候,F(xiàn)PGA無疑還是會(huì)被大多數(shù)廠家所采用。 
 3D市場(chǎng)成FPGA廠商藍(lán)海 
    ●3D相關(guān)市場(chǎng)還處于早期發(fā)展階段,正是FPGA大顯身手的時(shí)機(jī)。 
    ●3D視頻對(duì)芯片硬件的處理效能要求更高,因此在系統(tǒng)設(shè)計(jì)中FPGA扮演的角色也有所轉(zhuǎn)變。 
 
      3D視頻特別是3D電視是目前比較熱門的話題之一,但在當(dāng)前3D市場(chǎng)發(fā)展初期,由于芯片供應(yīng)商必須審慎評(píng)估市場(chǎng)風(fēng)險(xiǎn),所以不管是標(biāo)準(zhǔn)產(chǎn)品或定制化解決方案的選擇現(xiàn)在均相當(dāng)有限,從而讓FPGA得以在這片藍(lán)海市場(chǎng)中大展身手。在這波3D風(fēng)潮中,賽靈思也順勢(shì)占據(jù)了有利位置。 
 
      視頻處理主要分為視頻編解碼和目標(biāo)信息識(shí)別兩大類。其中,各類編解碼算法,特別是視頻處理算法對(duì)計(jì)算性能的要求已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)DSP處理器的能力。 
 
      3D視頻技術(shù)使攝像頭數(shù)量翻番,進(jìn)而推動(dòng)所需視頻數(shù)據(jù)帶寬也翻了一番。制造商需要靈活的硬件來支持10G-SDI、12G-SDI和DisplayPort等各種不同的新標(biāo)準(zhǔn)。超高端FPGA可提供處理2k×4k和8k×16k標(biāo)準(zhǔn)視頻所需的密度、性能以及高存儲(chǔ)器緩沖帶寬。統(tǒng)一架構(gòu)則能提供設(shè)計(jì)可擴(kuò)展性,滿足不同終端產(chǎn)品的性價(jià)比要求。 
 
      因?yàn)?D視頻對(duì)芯片硬件的處理效能要求更高,因此在系統(tǒng)設(shè)計(jì)中,F(xiàn)PGA扮演的角色也有所轉(zhuǎn)變。以客戶應(yīng)用設(shè)計(jì)為例,F(xiàn)PGA已經(jīng)在扮演類似超級(jí)電腦應(yīng)用中的硬件加速器角色。 
 
      3D立體處理器制造商SENSIO公司的S3D-PRO處理器采用了賽靈思的Spartan-3可編程器件來進(jìn)行設(shè)計(jì),該可編程器件是適用于眾多應(yīng)用、成本最低的FPGA解決方案之一。與傳統(tǒng)的高分辨率播放器結(jié)合使用,這款處理器可實(shí)現(xiàn)任何設(shè)備、任何格式的3D視頻輸出,從而可提供一種低成本、影院品質(zhì)的視頻體驗(yàn)。 
 
      FPGA視頻處理在專業(yè)廣播市場(chǎng)唱主角 
    ●FPGA一直在大部分專業(yè)數(shù)字廣播產(chǎn)品中扮演著主要角色。 
    ●用戶一般會(huì)采用FPGA定制他們的設(shè)計(jì),以提高產(chǎn)品競(jìng)爭(zhēng)力。 

      FPGA設(shè)計(jì)一直在大部分專業(yè)數(shù)字廣播產(chǎn)品中扮演著主要角色,例如演播攝像機(jī)、視頻交換機(jī)、路由器、服務(wù)器、編碼器等視頻傳輸設(shè)備。影院中用于播放3D影片的數(shù)字電影設(shè)備也被認(rèn)為是專業(yè)產(chǎn)品。3D與2D的區(qū)別不大,只是需要規(guī)模更大、密度更高的FPGA來處理多維視頻流。因此,F(xiàn)PGA會(huì)繼續(xù)在3D視頻內(nèi)容制作方面扮演重要角色。在消費(fèi)類市場(chǎng)方面,會(huì)采用某些FPGA設(shè)計(jì)進(jìn)行產(chǎn)品的初步原型開發(fā),在3DLCD和LED電視等產(chǎn)品中也會(huì)被采用。 
 
      最新的FPGAIC內(nèi)置了硬核DSP和存儲(chǔ)器模塊,效率和靈活性要遠(yuǎn)遠(yuǎn)優(yōu)于DSPIC。目前的DSPIC速度還沒有快到足以處理最新的專業(yè)2D1080p高分辨率的廣播視頻,對(duì)于3D,DSP在處理其他的功能時(shí)顯得更加困難。 
 
      用戶一般會(huì)采用FPGA定制他們的設(shè)計(jì),以提高產(chǎn)品競(jìng)爭(zhēng)力。SDI是典型的FPGA前端視頻接口。FPGA接收這一未經(jīng)處理的視頻流,進(jìn)一步處理縮放、濾波,并進(jìn)行格式轉(zhuǎn)換和顏色空間轉(zhuǎn)換。這類功能需要使用FPGA的內(nèi)部DSP模塊、板上高速收發(fā)器接口和內(nèi)部存儲(chǔ)器模塊。 
 
      FPGA可以幫助消費(fèi)類產(chǎn)品生產(chǎn)商在競(jìng)爭(zhēng)中突出他們的優(yōu)勢(shì)。與ASSP或者ASIC相比,由于邏輯是可編程的,為標(biāo)準(zhǔn)IC增加FPGA將有助于增加更多的功能,適應(yīng)新標(biāo)準(zhǔn)??紤]到成本問題,我們需要把專業(yè)廣播和消費(fèi)類市場(chǎng)分開,對(duì)于專業(yè)市場(chǎng),成本并不重要,重要的是性能。對(duì)于消費(fèi)類市場(chǎng),增加FPGA則會(huì)提供更多的功能,但是對(duì)產(chǎn)品成本會(huì)有影響。 
    
      高集成度協(xié)處理器滿足3D需求 
    ●泰鼎微系統(tǒng)公司的視頻協(xié)處理器能夠處理3D幀序列。 
    ●采用這種處理器的產(chǎn)品無須為了3D而采用FPGA。 
  
    將3D內(nèi)容顯示出來有兩種方法,一種是將含有“差異性”的左幀與右?guī)错樞蝻@示(一個(gè)接一個(gè)),同時(shí)輸出一個(gè)同步信號(hào)到主動(dòng)性玻璃屏,當(dāng)顯示左幀的時(shí)候,關(guān)閉左邊的玻璃屏,當(dāng)顯示右?guī)臅r(shí)候,關(guān)閉右邊的玻璃屏,從而實(shí)現(xiàn)3D的顯示;另一種方法是在奇數(shù)線上顯示左幀,在偶數(shù)線上顯示右?guī)?,可以選用被動(dòng)性玻璃屏來實(shí)現(xiàn)3D效果。但采用這種方法垂直精度被減半,而且從目前來看,線偏光器也比較昂貴。 
 
      泰鼎的PNX5130是一個(gè)非常先進(jìn)的可編程器件,能夠處理3D幀序列(以多種輸入格式),使用運(yùn)動(dòng)預(yù)計(jì)/運(yùn)動(dòng)補(bǔ)償來避免圖像“顫動(dòng)”,并使用再定時(shí)來確保左右?guī)跁r(shí)間上的同步。 
 
      采用PNX5130器件的產(chǎn)品無須為了3D而采用FPGA,從而降低了3D系統(tǒng)的整體成本。 
 
      PNX5130架構(gòu)是基于功能強(qiáng)大的VLIW處理器,能夠提供一種非常靈活的視頻處理方式。這種靈活性使得我們能夠與快速演進(jìn)的3D行業(yè)合作。 

      3D電視普及將先行 
    ●相關(guān)3D標(biāo)準(zhǔn)尚未制定,導(dǎo)致3D產(chǎn)品無法量產(chǎn)。 
    ●從目前來看終端的發(fā)展趨勢(shì),3D電視的普及將先行。 
 
      電影《阿凡達(dá)》以其所向披靡的驕人票房和身臨其境的3D效果贏得了全球影迷的滿堂彩,實(shí)實(shí)在在地印證了消費(fèi)者對(duì)于3D視聽走進(jìn)家庭的迫切期望。3D娛樂在2010CES(國際消費(fèi)電子產(chǎn)品展)上成為絕對(duì)的主角。各消費(fèi)電子巨頭索尼、三星、松下、LG等紛紛亮出各自的“3D殺手锏”,欲在未來的3D消費(fèi)電子大戰(zhàn)中大顯身手。 
 
      3D電影的火爆必將帶動(dòng)整個(gè)3D消費(fèi)電子的大發(fā)展。毫無疑問,2010年是中國3D產(chǎn)業(yè)發(fā)展的關(guān)鍵之年。我們不能袖手旁觀,要盡快行動(dòng)起來,聯(lián)合中國3D企業(yè)加入3D產(chǎn)業(yè)的大潮中,建設(shè)整個(gè)3D產(chǎn)業(yè)鏈。我們正在全力推進(jìn)相關(guān)3D行業(yè)標(biāo)準(zhǔn)制定工作的開展,這是迫在眉睫的事情。 
 
      坦白地說,目前我國3D終端市場(chǎng)的推廣效果不甚理想,主要原因有三:一是相關(guān)3D標(biāo)準(zhǔn)尚未制定,導(dǎo)致3D產(chǎn)品無法量產(chǎn);二是3D內(nèi)容的嚴(yán)重缺乏,現(xiàn)在3D設(shè)備基本已經(jīng)具備,但是缺乏內(nèi)容支持,無法大面積推廣應(yīng)用;三是戴眼鏡的觀看方式一定程度上制約了部分消費(fèi)者(弱視、散光等)的使用,如果裸眼3D顯示技術(shù)能廣泛應(yīng)用,對(duì)3D終端市場(chǎng)的發(fā)展將有很大的推動(dòng)作用。 
 
      從目前來看,3D電視的普及將先行。據(jù)了解,各大電子巨頭包括索尼、松下、三星、LG等今年都有3D電視上市的計(jì)劃。3D筆記本可能配合3D游戲加快其普及速度;3D投影機(jī)將率先進(jìn)入行業(yè)市場(chǎng)(教育、演示)的應(yīng)用,而隨著內(nèi)容的普及,它進(jìn)入家庭,打造3D家庭影院的勢(shì)頭也不錯(cuò);大量3D內(nèi)容(電影、電視節(jié)目)的制作需求,對(duì)專業(yè)3D攝像機(jī)的普及有至關(guān)重要的推動(dòng)作用;3D數(shù)碼相框、3D數(shù)碼相機(jī)、3D手機(jī)市場(chǎng)也將有不錯(cuò)的市場(chǎng)前景。 
 
      合成SoC將降低3D設(shè)備成本 
    ●今年,應(yīng)用于電視的3D處理芯片將大量上市。 
    ●將立體處理芯片與壓縮編碼芯片、CPU等合成一個(gè)SoC是有效降低成本的辦法。 
 
      由于市場(chǎng)及標(biāo)準(zhǔn)的不確定性,目前3D處理多采用FPGA來實(shí)現(xiàn),比如富士的照相機(jī)、華映的2D/3D轉(zhuǎn)換等都采用FPGA。目前FPGA集中應(yīng)用在圖像的獲取和2D轉(zhuǎn)3D上?,F(xiàn)在看到產(chǎn)品的是富士的立體相機(jī)和很多廠家的立體電視。 
 
      我們目前采用FPGA來完成立體圖像的獲取、同步、合成以及顯示。FPGA的優(yōu)勢(shì)在于它是全硬件處理,要求的極限速度低、外圍簡(jiǎn)單,便于降低成本。在沒有很復(fù)雜的圖像運(yùn)算與數(shù)據(jù)處理的條件下,F(xiàn)PGA比DSP在開發(fā)速度、運(yùn)算速度、成本上均有優(yōu)勢(shì)。 
 
      在立體攝錄一體機(jī)沒有面世前,3D內(nèi)容的匱乏以及產(chǎn)品成本的高昂是必然的,一體機(jī)是立體普及的第一步驟。立體攝錄一體機(jī)的成本比普通的2D攝像機(jī)雖然要高,但是較以前的3D方案要方便、便宜得多。在未來有兩種方法可以降低成本,一是將立體處理芯片與壓縮編碼芯片、CPU等合成一個(gè)IC,組成SoC,這是有效降低成本的辦法,但它的前提是標(biāo)準(zhǔn)必須明確,必須兼容絕大多數(shù)格式;二是開發(fā)專業(yè)的立體鏡頭,目前立體攝像機(jī)的做法是采用兩個(gè)獨(dú)立的鏡頭,這種鏡頭在2D狀況下應(yīng)用沒有什么問題,但在3D中應(yīng)用問題就比較多,比如偏心率、ZOOM和FOCUS的不同步等等,造成立體影像的破壞。 
 
      FPGA在處理復(fù)雜運(yùn)算的時(shí)候成本顯得偏高,ASIC是最后必然的趨勢(shì)。在今年,應(yīng)用于電視的3D處理芯片將大量上市,目前正在積極開發(fā)的有三星等公司,預(yù)計(jì)在年中會(huì)出現(xiàn)在電視產(chǎn)品中,但攝像機(jī)芯片的出現(xiàn)要相對(duì)較晚,應(yīng)該在明年初,因?yàn)閼?yīng)用在攝像機(jī)上的芯片對(duì)功耗、成本的要求更低。 
 
      3年前三星制造了第一部立體手機(jī)。他們現(xiàn)在采用的是ASIC的方案,但這個(gè)方案的缺陷是視頻分辨率很小,只能滿足低端需求。而我們新的FPGA方案在價(jià)格上與這種ASIC差不多,但可以實(shí)現(xiàn)720p的高清視頻同步、立體合成與立體顯示,該芯片已經(jīng)被某知名品牌使用,預(yù)計(jì)在今年3月可以給客戶演示其效果,其價(jià)格也具有較大的優(yōu)勢(shì)。
 
 
 
 
 
本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。