Petitverse

およ、しんのすさんがプチバに現れるの珍しい。
コメ残し意味あります。

とりあえず調べて分かったことまとめますか。
線形予測符号化や線スペクトル対は周波数スペクトルの包絡線を求めるフィルタの係数を求める手法…だと思います。
そこから包絡線の傾きを調べればフォルマントが求まるはず。
高周波成分は小さくなりがちなので、高域強調と呼ばれる前処理が行われるとか。

ボクの見た資料はこのあたりですね。
どこかの大学の抗議資料が優秀。

http://www.spcom.ecei.tohoku.ac.jp/~aito/soundmedia/slides.pdf
https://ocw.u-tokyo.ac.jp/lecture_231/

あとフォルマント自体については安定の足立レイ氏とすきえんてぃあ氏を参考にしてます(ちなみに最近足立レイにハマりつつある)

https://twitter.com/cicada3301_kig/status/1355355720221220869
https://youtu.be/3Ev_lJeAgYM
https://youtu.be/xiZ5HOqP4Qw

「足立レイ」良いですよね。進化の歴史が感じられる。
個人的には「隕石が落ちてきた」が好き。

足立レイさん。炉龍うたさんの動画で知りましたが、子音まで作るの衝撃でした。まさに音声合成界のtourist。最近はカリカチュアのCCD-0500[FEE]とセットで扱われてる印象。

線形予測符号化の連立方程式を解く部分。ガウスの消去法を使ってもいいけど、対称性がある特殊な連立方程式なのでLevinson-Durbinのアルゴリズムって方法を使うと高速に解けるらしい。

乃乃歌ってのを知った。
あと、乃乃歌について調べてたら良い情報見つけた。ノコギリ波が良いらしい。
https://twitter.com/kanshikironri/status/1289035582744584193

ノコギリ波は確かにスペクトルが良い感じだけど、周波数が高くなれば倍音も高くなるし、基本周波数より低い成分は含まれない。
ふと、AM変調すれば良いんじゃね？と思った。ただ、感覚的には上手く行きそうだけど実際どうなるかが分からない。

ところで、そもそも基本知識が足りなくて頭の中から「信号処理、やり直したら？」って聞こえてきた(元ネタ https://twitter.com/nekomath271828/status/1249707718278909954 )のでやらない夫のサイトで勉強してたらAM変調について出てきた。
http://www.ic.is.tohoku.ac.jp/~swk/lecture/yaruodsp/shiftmod.html

なんとなく分かったこと
LPCの欠点は母音のフォルマントを抽出したいだけならそこまでデメリットでもない。

LSPは周波数が出てきて、周波数の粗密で崩落線の形状が分かる？

PARCORの理解を飛ばしてLSPを理解しようとするのは無謀らしい

LSPで得られた信号を復元する方法がCSM(複合正弦波モデル)らしい？

凄まじい情報量のサイト見つけた。
https://home.hiroshima-u.ac.jp/tkurita/thesis/thesis/index.html

良い感じの足立レイの曲見つけた。
https://youtu.be/CYQjmubO2uk

LPC
スペクトルじゃなくて波形の方にフィルタ掛けるのね。
しかし、FFTで処理する要素数指定できないの地味に厄介。フィルタ掛けるとき用に大きめの配列持っておきたいんだけどな…

↓足立レイのおすすめ曲
https://youtu.be/LtjYyI6oFSU

分かったこと

線形予測フィルタ:音声をホワイトノイズ(声帯信号)に変換するフィルタ
全極フィルタ:ホワイトノイズを崩落線に変換するフィルタ

LPC:フィルタの係数
PARCOR:フィルタの極(安定条件)
LSP:フィルタの位相がπの整数倍遅れる周波数
いずれもLPCの表記を変えたもの

LPCは扱いづらくて変えるのは無理だけど、LSPなら周波数なのでカスタマイズしやすそう。

おすすめ足立レイの曲
https://youtu.be/eRYmJ-nbwG8

進捗。
まさかマイクから信号取得したりスペクトル表示したりする部分で半月以上かかるとは…
その間LPC係数の解説を作成したので、フォルマント取得できたら解説用プレイ日記立てます。

おすすめ足立レイ動画
https://youtu.be/jsQ2QtREVOU

広域強調とノイズ除去後のスペクトル。
広域強調はFIRフィルタ。画像処理の微分フィルタと似たような感じ。次数が低いのでFFTするまでもない。FFTしないときは後ろから処理すると楽。
https://ocw.u-tokyo.ac.jp/lecture_files/engin_01/2/notes/ja/B2-Spectrum.pdf
ノイズ除去はスペクトル減算ってのを使った。効果はイマイチ感じられない。(というか元のノイズがそんなに大きくなさそう)
ランニングスペクトルってノイズ除去も気になるけど、スペクトル減算で不都合は無さそう。



桃源郷シリーズ新作。
ピクドさんのれいを歌わせる技術が凄まじい。
https://youtu.be/Prfnbb-1p9A

やば、ノイズ信号に広域強調掛けるの忘れてた。
それでも違いは分からん。こっちが合ってるのかすら分からん。
パッと見倍音以外の成分が増えてるように見えるけど、単純にボクの声が枯れかけた説が有力。


そんな倍音成分以外の音多めを目指して作られたのがこの乃乃歌ちゃんらしいです。足立レイもこの子経由で知りました。作者はファイナルソードRTAで有名な炉龍さんです。
https://youtu.be/t8LATuhfIac

さて、軽く組んでみたけど、遅い。
FFT使うの忘れてた。
ちょっと組み直す。

…あれ？FFTってどうやって使うんだっけ。
…
と思ったら畳み込みじゃなかった。

あ、これおてがみコウモリさんでお馴染み高原のなさんが描いた乃乃歌と足立レイ親子のイラストです。
https://twitter.com:443/nona_takahara/status/1495624163213590535

さて、声帯信号は単位インパルスだと駄目っぽい？
ガウス雑音ってのが必要らしい。
どうやってガウス雑音作るんだろう？
(画像はIFFTとCOS,SINで頑張ったやつ)

嵯峨山先生の講義資料にめっちゃ書いてあった。
z変換のzをexp(-jω)に変えれば良いっぽい。

これ。フーリエ変換かと思って試したけど、違う？(毎回変わる)
あと、v(i)もfftで計算できるらしい。
http://mikeo410.minim.ne.jp/cms/~audiolinearpredictionautocorrelationfft

↓今回の足立レイ
https://nico.ms/sm39736390?ref=other_cap_off