下位機(jī)為 mini2440 ,其操作系統(tǒng)是WINCE 5.0,需要在下位機(jī)上插入U(xiǎn)SB攝像頭(中星微301,驅(qū)動為15分鐘限制版),以及插入麥克風(fēng)耳機(jī);
上位機(jī)為普通的PC,需要插入麥克風(fēng)耳機(jī);
上位機(jī)和下位機(jī)的開發(fā)環(huán)境為Visual Studio 2005。
接下來,說說這個東東的功能,和工作原理:
網(wǎng)絡(luò)視頻傳輸,首先把mini2440與USB攝像頭連接在一起,通過USB攝像頭捕捉圖像(320 x 240,15fps),然后通過UDP協(xié)議發(fā)送至PC端,在PC屏幕上以15fps的速度顯示。
網(wǎng)絡(luò)音頻傳輸,首先在mini2440和PC上都插入麥克風(fēng)耳機(jī),兩者都同時錄音,并以G.726編碼,然后把壓縮包通過UDP協(xié)議發(fā)送至對方,而在錄音的同時,也對來自對方的壓縮包用G.726解碼,然后再在耳機(jī)播放音頻。
最后,說說這個版本相對于以前的改進(jìn):
把以前的RTP改為UDP,實(shí)踐證明,在這個系統(tǒng)中,用UDP的效率會比RTP好,畢竟不需要用到RTP的流量監(jiān)測等高級功能,僅僅能通信就行了;
以前版本基于100M網(wǎng)卡,現(xiàn)在支持10M網(wǎng)卡了,在100M網(wǎng)卡的機(jī)器上,可以直接把JPEG圖片發(fā)過去,但是,在10M的網(wǎng)卡是,每次數(shù)據(jù)包最大為1440比特,因此要兼容10M網(wǎng)卡,就需要把圖像分割成多個1440大小的數(shù)據(jù)包,分別發(fā)送了。
源代碼可以到這里下載(2008.12.01才可以下載):
http://download.csdn.net/user/hellogv
網(wǎng)絡(luò)音視頻通信
下面說說關(guān)鍵的源代碼:
以下是WINCE部分的代碼
#pragma once
#include “winsock2.h”
//RTP支持
#include “。.\UDP\UDP.h”
//音頻支持
#include “WaveIn.h”
#include “WaveOut.h”
//G726支持
#include “g726.h”
//攝像頭支持
#include “。\video\\zc030xlib.h”
#define Video_Width 320 //視頻寬度
#define Video_Height 240 //視頻長度
#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小
#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小
//音頻輸入輸出變量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin[AudioData_Size],pout[Compr_AudioData_Size];
char waveout[AudioData_Size];
//攝像頭輸入變量
DWORD dwSize;
DWORD dwJpg;
DWORD dwRtnSize[2];/* 0 - for bmp, 1 - for jpeg */
LPBYTE lpFrameBuffer;
LPBYTE lpJpgBuffer ;
//控制變量
bool isCameraEnabled;
//UDP
CUDP_CE m_CEUdp;
class AVClass
{
public:
//=====================================================================
// 語法格式: void InitAV(CWnd * p)
// 實(shí)現(xiàn)功能: 初始化音頻和視頻,用于錄音、播放音頻,以及播放視頻
// 參數(shù): p為窗口類指針
// 返回值: 無
//=====================================================================
void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
{
//-----------------------初始化UDP-----------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
if (nResult 《=0)
{
AfxMessageBox(_T(“打開端口失敗”));
return;
}
//------------------------控制變量-----------------------//
isCameraEnabled=false;
//-------------------------視頻--------------------------//
int i = capInitCamera();
dwSize = 320 * 240 * 3;
dwJpg = 40960;
lpFrameBuffer = (LPBYTE) malloc (dwSize);
lpJpgBuffer = (LPBYTE) malloc (dwJpg);
if(i《=0)
{
//::MessageBox(NULL, L“Init camera error ”, L“Notice”, 0);
goto video_error;//出錯,釋放空間
}
if (0 != capSetVideoFormat(0, VIDEO_PALETTE_RGB24, VIDEO_SIZE_SIF))
{
//::MessageBox(NULL, L“SetVideoFormat error ”, L“Notice”, 0);
goto video_error;//出錯,釋放空間
}
if (capStartCamera(0) != 0)
{
//::MessageBox(NULL, L“StartCamera error ”, L“Notice”, 0);
capStopCamera(0);
goto video_error;//出錯,釋放空間
}
//沒出錯,進(jìn)行視頻(控制狀態(tài))、音頻設(shè)置
isCameraEnabled=true;
goto audio;
video_error:
free (lpFrameBuffer);
lpFrameBuffer = NULL;
free (lpJpgBuffer);
lpJpgBuffer = NULL;
//-------------------------音頻--------------------------//
audio:
g_pOut = new CWaveOut();
g_pIn = new CWaveIn();
g_pOut-》StartPlay();
g_pIn-》StartRec(OnRecCapAndSend,(DWORD)p);
}
//=====================================================================
// 語法格式: void FreeAV()
// 實(shí)現(xiàn)功能: 釋放音頻、視頻
// 參數(shù): 無
// 返回值: 無
//=====================================================================
void FreeAV()
{
//-------------------------視頻--------------------------//
if(isCameraEnabled)
capStopCamera(0);
//-------------------------音頻--------------------------//
g_pOut-》StopPlay();
g_pIn-》StopRec();
delete g_pOut;
delete g_pIn;
//------------------------UDP------------------------//
m_CEUdp.Close();
}
//=====================================================================
// 語法格式: void RecAndPlay(WPARAM wParam,LPARAM lParam)
// 實(shí)現(xiàn)功能: 接收網(wǎng)絡(luò)傳來的音頻,以及播放
// 參數(shù): wParam,表示數(shù)據(jù);lParam,表示數(shù)據(jù)長度
// 返回值: 無
//=====================================================================
static void CALLBACK OnUdpCERecv(CWnd * pWnd,char* buf,int nLen,sockaddr * addr)
{
g726_Decode(buf,(unsigned char*)waveout);
g_pOut-》Play(waveout,AudioData_Size);
}
//=====================================================================
// 語法格式: static void OnRecCapAndSend(char *data,int length,DWORD userdata)
// 實(shí)現(xiàn)功能: 錄音,攝像并且發(fā)送
// 參數(shù): data表示數(shù)據(jù),length表示數(shù)據(jù)長度,userdata暫時沒用
// 返回值: 無
//=====================================f================================
static void OnRecCapAndSend(char *data,int length,DWORD userdata)
{
//-------------------------音頻--------------------------//
memcpy(pin,g_pIn-》buffer,AudioData_Size);
g726_Encode((unsigned char*)pin,pout);
m_CEUdp.SendData(pout,Compr_AudioData_Size);
//-------------------------視頻--------------------------//
if(isCameraEnabled==false)//如果程序不能用攝像頭
return;
Sleep(15);
int index=0;
memset(lpFrameBuffer, 0, dwSize);
memset(lpJpgBuffer, 0, dwJpg);
dwRtnSize[0] = dwRtnSize[1] = 0;
if (capGetPicture(index, lpFrameBuffer, dwSize, lpJpgBuffer, dwJpg, dwRtnSize) == 0)
{
/// m_CEUdp.SendData((const char *)lpJpgBuffer,dwRtnSize[1]);
char tmp[1440];
int tmp_i=0;
for(int i=0;i《dwRtnSize[1];i++)
{
tmp[tmp_i]=lpJpgBuffer[i];
tmp_i++;
if(tmp_i==1440)
{
m_CEUdp.SendData(tmp,1440);
tmp_i=0;
}
else if(i==dwRtnSize[1]-1)
{
m_CEUdp.SendData(tmp,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);
tmp_i=0;
}
}
}
}
};
以下是PC部分的關(guān)鍵代碼
#pragma once
#include “winsock2.h”
//UDP支持
#include “。.\UDP\UDP.h”
//音頻支持
#include “WaveIn.h”
#include “waveout.h”
//G726支持
#include “g726.h”
//視頻支持
#include “Gdiplus.h”
using namespace Gdiplus;
#define VideoData_Size 1440 //每塊視頻數(shù)據(jù)包的大小
#define Video_Width 320 //視頻寬度
#define Video_Height 240 //視頻長度
#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小
#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小
//音頻輸入輸出變量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin[AudioData_Size],pout[Compr_AudioData_Size];
char wave_data[AudioData_Size];
//UDP變量
CUDP_CE m_CEUdp;
//視頻輸入變量
GdiplusStartupInput m_gdiPlusInPut;
ULONG_PTR m_gdiPlusToken;
char video_data[Video_Width*Video_Height];
int index;//視頻數(shù)據(jù)當(dāng)前索引
class AVClass
{
private:
public:
//=====================================================================
// 語法格式: void InitAV(CWnd * p)
// 實(shí)現(xiàn)功能: 初始化音頻和視頻,用于錄音、播放音頻,以及播放視頻
// 參數(shù): p為窗口類指針
// 返回值: 無
//=====================================================================
void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
{
//-------------------------UDP連接--------------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
if (nResult 《=0)
{
AfxMessageBox(_T(“打開端口失敗”));
return;
}
//-------------------------音頻--------------------------//
g_pOut = new CWaveOut();
g_pIn = new CWaveIn();
g_pOut-》StartPlay();
g_pIn-》StartRec(OnRecording,(DWORD)p);
//-------------------------視頻--------------------------//
GdiplusStartup( &m_gdiPlusToken, &m_gdiPlusInPut, NULL ); //初始化GDI+
memset(video_data,0,Video_Width*Video_Height);
index=0;
}
//=====================================================================
// 語法格式: void FreeAV()
// 實(shí)現(xiàn)功能: 釋放音頻、視頻
// 參數(shù): 無
// 返回值: 無
//=====================================================================
void FreeAV()
{
//-------------------------音頻--------------------------//
g_pOut-》StopPlay();
g_pIn-》StopRec();
delete g_pOut;
delete g_pIn;
//-------------------------視頻--------------------------//
GdiplusShutdown(m_gdiPlusToken); //銷毀GDI+
//------------------------UDP--------------------------//
m_CEUdp.Close();
}
//=====================================================================
// 語法格式: void RecAndPlay(WPARAM wParam,LPARAM lParam,HWND hwnd)
// 實(shí)現(xiàn)功能: 接收網(wǎng)絡(luò)傳來的音頻,以及播放
// 參數(shù): wParam,表示數(shù)據(jù);lParam,表示數(shù)據(jù)長度;hwnd,表示顯示視頻的窗口句柄
// 返回值: 無
//=====================================================================
static void CALLBACK OnUdpCERecv(CWnd *pWnd,char* buf,int nLen,sockaddr * addr)
{
/*測試收到的數(shù)據(jù)大小
CString tmp;
tmp.Format(L“%d”,nLen);
MessageBox(0,tmp,0,0);
return;*/
//-------------------------如果是音頻數(shù)據(jù)--------------------------//
if(nLen==Compr_AudioData_Size)
{
g726_Decode(buf,(unsigned char*)wave_data);
g_pOut-》Play(wave_data,AudioData_Size);
return;
}
//-------------------------如果是視頻數(shù)據(jù)--------------------------//
if(nLen==VideoData_Size)//完整的視頻數(shù)據(jù)塊
{
for(int i=0;i《nLen;i++)
{
video_data[index]=buf[i];
index++;
}
return;
}
//視頻數(shù)據(jù)塊的最后一塊
for(int i=0;i《nLen;i++)
{
video_data[index]=buf[i];
index++;
}
//如果JPEG圖像特別大,則肯定是出錯,則拋棄
if(index》Video_Width*Video_Height)
{
//MessageBox(0,“緩沖區(qū)出錯”,“錯誤信息”,0);
return;
}
try{
IPicture *pPic;
IStream *pStm ;
//分配全局存儲空間
HGLOBAL hGlobal=GlobalAlloc(GMEM_MOVEABLE,index);
LPVOID pvData=NULL ;
//鎖定分配內(nèi)存塊
pvData=GlobalLock(hGlobal);
//復(fù)制數(shù)據(jù)包video_data到pvData
memcpy(pvData,video_data,index);
GlobalUnlock(hGlobal);
CreateStreamOnHGlobal(hGlobal,TRUE,&pStm);
ULARGE_INTEGER pSeek;
LARGE_INTEGER dlibMove ={ 0 } ;
pStm-》Seek(dlibMove,STREAM_SEEK_SET ,&pSeek);
// Sleep(15);
//裝入圖形文件
if(FAILED(OleLoadPicture(pStm,index,TRUE,IID_IPicture,(LPVOID*)&pPic)))
{//附:如果video_data這個數(shù)組包含的圖像有錯,則OleLoadPicture 容易產(chǎn)生讀寫內(nèi)存錯誤
// pPic-》Release();
// pStm-》Release();
return ;
}
Image img(pStm,0);
Graphics mGraphics(GetDC(pWnd-》m_hWnd));
mGraphics.DrawImage(&img, 0, 0, Video_Width, Video_Height);
img.~Image();//會出錯
mGraphics.~Graphics();
pPic-》Release();
pStm-》Release();
}
catch(CException * e)
{}
memset(video_data,0,Video_Width*Video_Height);
index=0;
}
//=====================================================================
// 語法格式: static void OnRecording(char *data,int length,DWORD userdata)
// 實(shí)現(xiàn)功能: 釋放音頻
// 參數(shù): data表示數(shù)據(jù),length表示數(shù)據(jù)長度,userdata暫時沒用
// 返回值: 無
//=====================================================================
static void OnRecording(char *data,int length,DWORD userdata)
{
memcpy(pin,g_pIn-》buffer,AudioData_Size);
g726_Encode((unsigned char*)pin,pout);
m_CEUdp.SendData(pout,Compr_AudioData_Size);
}
};