-
vocalistener
鎖定
- 外文名
- VocaListener
- 日文名
- ぼかりす
- 應 用
- 轉換音樂風格
目錄
- 1 歷史
- 2 技術
- ▪ VocaListener-core
- ▪ VocaListener-plus
- ▪ front-end[
vocalistener歷史
視頻截圖(10張)
vocalistener技術
系統先以VocaListener-front-end分析目標歌聲和歌詞,辨認音高、音量、歌詞等,再由用户以VocaListener-plus編輯修正,其後以VocaListener-core分析歌聲並加以合成,反覆測定音高、音量、歌詞等的相似度,由用户加以微調,最後得到合成歌聲的參數。
[2]
vocalistenerVocaListener-core
這是合成歌聲模仿目標歌聲的核心技術,由歌聲分析、歌聲合成、反覆的合成參數更新三種要素組成。歌聲分析的對象不止目標歌聲,亦會對合成後的歌聲作出分析,但分析的使用技術Viterbi alignment會有辨認錯誤的問題,需要反覆分析,務求兩者的風格儘量相近。判定音高分為MIDI的音名數值和滑音斜率。在音名數值中,組合VOCALOID 2滑音斜率(PIT、Pitch Bend)和滑音斜率敏感度(PBS、Pitch Bend Sensitivity)最多可以做出高或低兩個八度的滑音,而音名數值由以下數式選擇(NoteNumber:音名數值、σ=0.03、t是音符長度。):
而合成歌聲是
、目標歌聲則是{\displaystyle F0_{org}(t)}。經過重複計算而把兩個數值不斷更新,變得相似。把PIT和PBS轉換為數式則是如此:
而音量測定上是使用相對數值,反覆測定而得到從0至127的強弱(DYN、Dynamics)數值。
vocalistenerVocaListener-plus
這是編輯目標歌聲的技術,可以令歌聲有更廣闊的種類,但並非一定要使用。技術中分為兩種類,分別是改變音高和改變歌唱風格的機能。前者的改變音高,用途可以是修正走音,或可以合成原唱者不能唱出的音高。然而在音符較短的時候,可能會不能修正音高。後者可調整振音的強弱、音高、音量的平滑感,藉以改變歌唱風格,甚至加強歌唱的表現。
vocalistenerfront-end[
VocaListener-front-end則分為歌聲分析及歌聲合成,在歌聲分析中需要從原歌聲中抽出音高、音量、發音開始時間和音長。
音高
音量
技術中N為2048(約46毫秒)、h(t)為漢寧(Hanning)窗。
發音開始時間和音長
使用Viterbi alignment辨認音聲,再從歌詞轉換為音素,但偶然會有辨認錯誤,需要用户修正。
- 參考資料
-
- 1. 中野,倫靖, 後藤,真孝. VocaListener:ユーザ歌唱の音高および音量を真似る歌聲合成システム[J]. 情報処理學會論文志, 2011, 52:3853-3867.
- 2. Goto M, Nakano T, Kajita S, et al. VocaListener and VocaWatcher: Imitating a human singer by using signal processing[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2012:5393-5396.