10月20日の朝5時前、僕は録音したファイルを1つ、AI（Claude）に渡した。温泉ランドのショート動画に使う、台本13行を読んだ声だ。
言葉は何も添えていない。ファイルを渡しただけだ。1時間ほどあとに、もう1本の録音も同じように渡した。
声の検品の途中のことは、僕は何もしていない。録音を渡したあと、AIが何をしたかは、AIの報告と記録で知った。
録音を渡したあとの流れ
温泉ランドのショートは、こう作っている。
- 僕：AIが書いた台本を読んで、録音する
- AI：声に字幕と背景の絵を合わせて、動画にする
- AI：できた動画を、5つの項目で検品する
検品の1つめは、声と字幕が合っているかを見る。AIが、Whisperという書き起こしの道具で、録った声を文字にし（これを「書き起こし」と言う）、その行の台本と照らし合わせる。食い違いが大きいと、不合格になる。
前に、文末の「す」だけが消えていたことがあった。AIが、息だけの「す」の音を無音と聞き違えて、切ってしまっていた（そのときの記事）。今は、文末が切れていないかも道具で確かめている。今回の2本は、どちらも切れている疑いは0か所だった。
この記事は、その続きにあたる。今度は、検品のほうが聞き違えた。
1本目：13行目だけ「声と字幕が合わない」
1本目は、ある温泉地で、閉館した旅館が名前を変えて開き直す話だ。この動画はまだ投稿していないので、ここでは宿の名前を伏せる。
ファイルを渡してから9分ほどで、AIから報告が来た。
13行目だけ「声と字幕が合わない」と出ました。
13行目は、温泉地の名前と、新しい宿の名前を読む行だ。検品の言うとおりなら、この行は録り直しになる。
AIは、すぐには録り直しを頼まなかった。かわりに、精度の高い書き起こしで、その行をもう一度聞いた。
すると、声は台本どおりに入っていた。違っていたのは文字のほうだった。精度の高い書き起こしでは、宿の名前が、読みの同じ別の漢字で出た。字は違うが、読みは台本どおりだった。最初の検品が何と聞き取っていたかは、記録に残っていない。
AIの報告は、こうだった。
精度の高いモデルで聞き直したら、声は正しく入っていて、書き起こし側が宿の名前を取り違えただけでした（宿の名前は伏せます）
ほかに、不合格ではないが気になる行が2つあった。4行目の「名前」が「甘い」に、6行目の「プレオープン」が「プレイをオープン」になっていた。AIはこの2行も聞き直し、正しいと確かめていた。
録り直しは、しなかった。
2本目：「銀山」が3回とも「銀座」になった
2本目は、山形の銀山（ぎんざん）温泉の話だ。こちらも、まだ投稿していない。
銀山温泉のネタは、AIが出したものだ。僕は「次のネタ」とだけ言った。AIが台本を書き、僕が読んで録音した。
ファイルを渡してから8分ほどで、動画ができた。こちらは、検品の5項目はすべて合格だった。
ただ、AIは検品とは別に、1行ずつの書き起こしも見ている。字幕が出ている時間ごとに声を切り出して、文字に起こし、台本と並べるものだ。ここで引っかかった。
台本で「銀山」と言っている3か所が、3か所とも「銀座」になっていた。
AIは、ここでも精度の高い書き起こしで聞き直した。3か所とも「銀山」だった。
軽い書き起こしでは「銀山」が3か所「銀座」と出ましたが、精度の高い書き起こしで聞き直すと、3か所とも「銀山」でした。言い直しは要りません。
ほかにも「転機」が「天気」、「大正」が「対象」になっていた。この2つは、音は同じで字が違うだけだ。AIは、これは声の問題ではないとして扱っていた。
同じ朝に2本、名前の行で続いた
1本だけなら、たまたまかもしれない。同じ朝に2本続いた。
並べてみると、どちらも、名前を読む行だった。
| 動画 | 台本の言葉 | 軽い書き起こし | 精度の高い書き起こし |
|---|---|---|---|
| 1本目 | 宿の名前 | 記録に無い（一致度0.44で不合格） | 正しい読み（字は当て字） |
| 2本目 | 銀山 | 銀座（3か所） | 銀山（3か所） |
宿の名前や温泉地の名前は、ふだんの会話にあまり出てこない。軽い書き起こしは、そういう言葉を、よく聞く言葉のほうへ寄せてしまうように見える。「銀山」が「銀座」になったのも、そう考えると分かりやすい。ただ、これは2本を並べて見えた形にすぎない。理由を確かめたわけではない。
温泉の動画は、名前を言わないと始まらない。宿の名前と温泉地の名前は、ほぼ毎回入る。だから、この聞き違いは、これからも出てくると思っておいたほうがよさそうだ。
線は下げずに、2段で確かめる
この話で大事なのは、AIの確かめ方だ。
不合格が出たとき、楽なやり方は2つある。1つは、合格の線を下げることだ。もう1つは、「どうせ書き起こしの間違いだろう」と見なして通してしまうことだ。
AIは、どちらもしなかった。
1本目の投稿シートには、13行目が不合格だったことが、そのまま書いてある。そのうえで、なぜ問題ないと言えるのかが添えてある。精度の高い書き起こしで、何と聞こえたかまで残っていた。
今回、AIがした確かめ方は2段だった。
- 軽い書き起こし（Whisperという書き起こしの道具の「small」）で、全部の行を見る
- 引っかかったところを、精度の高い書き起こし（同じ道具の「medium」）で聞き直す
1段目の線はそのままにして、引っかかったら2段目で中身を見る。2段目でも違っていれば、そのときは本当に声の問題かもしれない。
全部の行を最初から精度の高いほうで聞くこともできるはずだ。なぜ軽いほうを先にしているのかは、記録には書かれていない。
最後は、僕が耳で聞いた
記録に残っているのは、AIが2回書き起こして確かめたところまでだ。
記録には書かれていないが、動画にしたあと、僕も聞いて確かめた。聞いた印象は、まぁ聞き違えるかもな、というものだった。最終的に声が合っていると判断される範囲の読み方ではある、とも思った。2本とも、この記事を書いている時点ではまだ投稿前だ。
2回目の書き起こしも、機械が聞いたものだ。1回目より確かだというだけで、間違えない保証はない。名前の聞き違いが2本続いたので、名前の行だけは人が聞く、という段をもう1つ足すかどうかは、これから決めることになる。
同じような仕組みを作る人へ
録った声を書き起こして台本と照らす検品は、作っておくと助かる。ただ、書き起こしは間違える。今回の2本から、次のことが言えそうだ。
- 不合格が出たら、まず「声が違う」のか「書き起こしが違う」のかを分ける
- 分けるために、合格の線は下げない。引っかかったところだけ、精度の高い書き起こしで聞き直す
- 宿の名前や地名のような、ふだん聞かない言葉は、書き起こしが崩れやすいと思っておく
- 聞き直して問題なかったときも、不合格が出たこと、聞き直した結果、何と聞こえたかを、投稿の記録に書いて残す
- 2段目も機械なので、名前の行は人の耳で聞くと、もっと確かになる
分かったこと
前は、AIが声を切ってしまった。今回は、検品で使う書き起こしの道具が聞き違えた。どちらも、機械が聞き違えた話だ。
違うのは、今回は聞き違いのまま進まなかったことだ。検品が出した不合格を、線を下げずに受け止めて、もう一段深く聞いた。そのおかげで、録り直しをせずに済んだ。最後に僕が耳で聞いても、声は台本どおりに聞こえた。
声の検品で、僕がしたのは最後に聞いたことだけだ。台本を読んで録り、ファイルを渡し、できた動画を聞いた。その後ろでAIがどう確かめたかは、投稿シートと記録に残っていた。この記事も、その記録から書いている。
おすすめ商品
