【第一參賽人/留學人員】孫學京
【留學國家】美國
【技術領域】新一代信息技術
【參賽屆次】第6屆
【所獲獎項】入圍
【項目簡介】
項目研究基于全景聲場理念的Ambisonics技術，它是一種聲道獨立的球形聲場再現技術。Ambisonics技術將拾取到的聲源信號通過一系列打包渲染算法轉換成傳輸編碼格式B格式（B-format），根據階數不同，B-format有不同的通道數要求。它除了可以還放水平面信息外，還能還放自下而上的高度信息，突破了傳統意義上5.1、7.1聲道的概念，更真實的營造出四周由遠及近的音效，呈現出動態的聲音效果、沉浸式的聽覺感受。包括基于全景聲技術的采集端Twirling Capture SDK，單通道或多通道語音增強處理，回聲消除，聲源定位，均衡器調整，自動增益控制，波束成形；麥克風陣列設計與定制，包括線性和環形陣列，不規則陣列定制，支持標準First Order Ambisonic（FOA），higher order ambisonic（Hoa）Omini Binaural，支持單指向和全向ECM以及MEMS麥克風。開發一種可擴展性，移植性高，靈活性強，應用場景更廣的音頻采集方案(麥克風陣列+軟件算法支持)Twirling720 Lite和Twirling Capture SDK。支持多個或多種麥克風陣列形狀，并將算法集成在芯片中，這樣可以根據用戶已設想好的產品模型提出定制化音頻采集方案，滿足各行各業對聲音捕捉的需求。算法融合了360度實時聲源測向、定向拾音、噪聲抑制、混響消除、回聲抵消等多項技術。不僅如此，在最近的迭代中，增加了聲紋識別、智能語音交互等部分，實現全方向語音喚醒，語音識別，說話人分離、語音交互等更多功能。基于全景聲的智能語音技術，將帶來更好的臨場和空間沉浸感。語音喚醒和語音降噪等提升遠場識別，真正實現智能化、人性化、多樣化。項目廣泛應用于金融銀行、智慧安防、工業檢測、新聞傳媒、養老服務、文化旅游、智能家居等領域。
【展開】
【收起】