AIによる手術後の「声」のモデリング

Sean Douglas
Sep 21
14 min read

Updated: Nov 6

ヘルスケアにおけるAIの応用：データサイエンスと臨床連携による手術後の音声モデリング

エグゼクティブ・サマリー

患者が喉頭（こうとう）手術の前に外科医の前に座るとき、必ず一つの質問が上がります。「術後、私の声はどのようになるのでしょうか？」

外科医は、声帯の緊張がどう変わるか、あるいは約250Hzの音域を目指すといった説明はできますが、それらの説明が患者を完全に満足させることは稀です。声の変化は単純なピッチ（音高）のシフトよりも複雑であり、患者にとって「声」とは機械的なものではなく、個人のアイデンティティの一部だからです。

本稿は、私たちが京都の著名な外科医と協力し、患者が術前に抱く最も切実な疑問に対し、「術後の声がどのように聞こえるかを近似した音声ファイル」という形で答えを提供できるようにした取り組みの物語です。

同時に、応用AIコンサルティングが実際にどのように機能するか――すなわち、特定のドメイン（専門領域）に入り込み、専門家の声に耳を傾け、複雑な問題を個別のタスクに分解し、AIを使って人間の専門知識を「置き換える」のではなく「強化する」プロセスを明らかにします。

1. 課題

患者の不安： 声はアイデンティティの中心であり、音声手術の結果は言葉で説明するのが難しい。
臨床現場の限界： 外科医は解剖学と手術自体は理解しているが、手術によって声がどう影響を受けるかを術前に患者へ効果的に実演するツールを持っていない。
臨床ニーズ： クリニックは、術前の患者カウンセリングを改善するために、信頼性が高く、データに基づいた手法を必要としていた。特筆すべき点として、患者は局所麻酔下にあり、手術中に発声を求められる。ご想像のとおり、これは非常に不安を伴う状況である。
ビジネスニーズ： 意思決定を促進し、患者体験全体を向上させるための画期的な術前ツールを提供することで、患者との関係を改善する。また、これらのツールをより広く利用できるようにすることで、クリニックの国際的なパートナーシップや紹介を増やす能力を強化する。

2. 臨床ドメインへの没入

私たちは京都のクリニックに招かれ、手術に立ち会い、そのプロセスを直接観察しました。甲状軟骨形成術4型（Type IV Thyroplasty）の手術中、外科医は患者の声が約250Hzの範囲に上昇するまで軟骨の張力を調整していました。この経験から、結果を予測することは単に「ピッチが80Hz上がります」と言うことではないと明らかになりました。信頼できるモデルは、基本周波数（F0）とフォルマント（F1、F2、F3、F4）を含む、声の完全な「音響的指紋」を捉える必要があるのです。フォルマントとは、声道（喉、舌、口）の形状によって形成される共鳴周波数帯域であり、母音の質を定義し、その人の声がどのように聞こえるかに大きく寄与します。

この経験は、私たちが問題を内面化し、再定義する上で非常に貴重なものでした。

3. 臨床ニーズのデータサイエンスへの翻訳

私たちは、手術の観察から得た知見を、分析可能なターゲットへと翻訳しました。

手術前後の基本周波数（F0）を測定する。

術前術後のスペクトログラム
手術前後のフォルマント周波数（F1～F4）、その重心、帯域幅を追跡する。

手術前後の周波数帯域ごとのスペクトル強度の変化を分析する。

「術後の声」をシミュレートできるモデルを作成するには、これらの音響的特徴量を複数の患者にわたって定量化し、手術タイプごとに変化の平均を算出し、AIを使って「術前の音声ファイル」を「術後に期待される成功した声」のシミュレーションへと変換する関数とコードを作成する必要がありました。

4. AI支援による音響モデリング

臨床レベルで手術結果をモデリングするために、私たちはChatGPTに「声のファイルをより女性的または男性的に聞こえるように変換するのを手伝って」といった単発のプロンプトを投げることから始めたわけではありません。

第一のステップは、AIを使って声のメカニズムの理解を加速させることでした。 私たちは、人間の声を「楽器」のように扱うことが可能だと判断しました。つまり、声帯が基本周波数（F0）で音を生成し、喉、舌、口の形状が共鳴のピーク（フォルマント）を作り出す、と。私たちの分析により、最初の4つのフォルマントとF0を組み合わせれば、リスナーが「声」として認識するもののほとんどをパラメータ化するのに十分であることが確認されました。

その基盤の上で、臨床的な問いを再定義しました。 外科医は通常、手術中にF0を約250Hzの範囲に上げることを目指します。これが、彼らが頼りにできる唯一の指標です。声の他の質（クオリティ）の変化は、彼らが特に制御できない身体的特徴の結果として生じます。私たちのタスクは、「過去の術前・術後の録音からF0とフォルマントの値を抽出し、手術タイプごとに平均的な変換を計算し、それらの変換を新しい音声サンプルに適用して『術後』の結果をシミュレートする」ことになりました。

次に、AIが迅速なプロトタイプ開発を支援しました。 私たちはLLM（大規模言語モデル）を神託のように扱うのではなく、コードを生成するために使います。そして重要なことに、コードの品質はプロンプトの精度に依存します。「魔法」のような解決策を求める曖昧な要求ではなく、数学的に正確な指示を与えました。
- 例：「（文脈情報として、すべて同一人物の）音声ファイルのリストを渡し、[F0, F1, F2, F3, F4]のそれぞれについて（重心, 帯域幅）のペアを返す関数を書いてください。F0は基本周波数、他はフォルマントです。」

最後に、それらの関数を連鎖させ、完全なワークフローを構築しました。 音響パラメータを測定し、手術全体の平均的な変化を計算し、それを変換行列として適用します。テストとして、まず私たち自身の録音音声に適用し、変換されたサンプルが実際の術後の音声サンプルとどう比較されるかを聞き比べました。初期の結果は有望でした。ピッチは期待通りに整合しましたが、外科医からは「強度」と「母音・子音のバランス」がF0と同じくらい重要であるとの指摘がありました。このフィードバックが、次の改良ラウンドの指針となりました。

実際には、AIは「加速装置」として機能しました。 AIのおかげで、私たちは特定の手術に関する知識を迅速に習得し、関数やコードの作成時間を数週間から数時間に短縮できました。しかし、AIがデータサイエンスや臨床の専門知識に取って代わることは決してありませんでした。問題を定義し、パラメータを選択し、臨床専門家と共に結果を検証したのは、私たち人間です。

このソリューションは、科学的な分解、AIによるリサーチとコーディング支援、そして専門家によるレビューと最適化、というコラボレーションを通じて生まれました。

変換モデリング

参考までに、手術には2つのタイプがあります。この例では、CTA（輪状甲状軟骨接近術／甲状軟骨形成術4型（一色式））に焦点を当てています。このタイプの手術は、トランスジェンダーの方々や、痙攣性発声障害、麻痺、その他の喉頭疾患によって影響を受けた声質を改善したい人々によく用いられます。

サンプル音声

Original

0:00

変換後音声

Transformed Cohort 7

0:00

この変換は、単純なピッチシフトよりも複雑です。もし元の音声ファイルを単純にピッチシフトするだけなら、それはヘリウムを吸ったかのような、ネズミのような甲高い声になってしまいます。

5. 臨床的検証

術後の音声をシミュレートする実用的なモデルを構築した後、次のステップは、声を最もよく理解する人物、すなわち外科医と共にそれをテストすることでした。目標は、臨床医が聴いて「うん、これは私たちが実際の現場で通常耳にする結果に近い」と言えるようなシミュレーションを作成することでした。

私たちは、変換された音声サンプルを、元の（ニュートラルな）録音と並べて提示しました。外科医は注意深く耳を傾け、シミュレーションと彼らが経験してきた何百人もの患者の実際の結果とを比較しました。私たちが各次元の再現度を調整していくと、外科医たちは「結果がより現実に近くなった」と認めました。

ピッチ（音高）： シミュレーションは、甲状軟骨形成術4型で期待されるF0（基本周波数）の上昇を確実に再現しました。術前の平均が約162Hzに集中していたのに対し、変換後の声は約240Hzまで上昇しました。この一致は重要でした。なぜなら、私たちのモデルが音声を恣意的に変更しているのではなく、記録された手術結果と一致する変化を適用していることを示したからです。

共鳴： 共鳴の変化はより微妙でした。声道によって形作られる周波数のクラスターであるフォルマントは、絶対値としては比較的安定していましたが、そのバランスのわずかな調整が聴覚に影響を与えました。外科医たちは、患者がピッチだけで自分の声を「女性的」または「男性的」と認識するわけではないと強調しました。フォルマントの位置関係によって決まる母音と子音の相互作用が、声が「自然」と認識されるかどうかを決定することが多いのです。シミュレーションは、この微妙さの一部を捉え、モデルにおいてF0を超えた要素を考慮することの重要性を裏付けました。

強度（ラウドネス）： おそらく最も示唆に富むフィードバックは、声の強度に関するものでした。術後の声は、周波数帯域全体でデシベルの変動が大きくなることがよくあります。外科医たちは、これを、患者が新しい声帯の緊張に適応する際にかける「努力」と関連付けています。私たちのスペクトル分析も同じ効果を示しました。特に中低周波数域での強度のより大きな変動です。この変動性を捉えることで、シミュレーションはより現実味を帯び、単なる「ピッチシフトされた」音声とは異なるものになりました。

この検証プロセスは、イテレーション（反復）の価値を浮き彫りにしました。シミュレーションの各ラウンドは、抽象的な音響理論に対してではなく、臨床の現実に対してテストされました。外科医が「これは我々が期待するものに近い」と言ったとき、モデルは信頼性を獲得しました。彼らが「強度のパターン」のような欠けている要素を指摘したとき、私たちはそのフィードバックを次のサイクルに組み込みました。

最終的に、臨床的検証は、データ駆動型でAI支援のアプローチが、チャートや指標だけでなく、現実的な音声変換をも生成できることを示しました。ラピッドプロトタイプを臨床的に意味のあるツールへと変えることができるのは、まさにこの「分析、シミュレーション、専門家レビュー、最適化」というフィードバックループなのです。

6. 成果とインパクト

患者が音声手術を検討するとき、その決断はしばしば不確実性と不安に満ちています。外科医は軟骨の調整を説明したり、平均的なピッチの上昇を示したりすることはできますが、それらの抽象的な説明は、新しい声で話すという「体験」そのものには応えてくれません。臨床データを音声シミュレーションに変換することで、私たちは外科医の専門知識と患者の期待との間のギャップを埋めるソリューションを創造しました。

患者にとって、 最も直接的な成果は「信頼」です。患者は、数字やチャートを通して変化を想像する代わりに、ビフォー・アフターの変換を「聴く」ことができます。たとえそれが保証ではなくシミュレーションとして提示されたとしても、予測される結果を耳にできる能力は、患者の不安を軽減するのに役立ちます。特に、患者が局所麻酔下で手術中に発声することで「参加」することを考えると、その効果は絶大です。コンサルテーションはより具体的なものになります。つまり、自分自身の声として認識できるものが、期待される術後の範囲へとシフトしたものを聴けるのです。患者は自信を得て、外科医は「成功」がどのように聞こえるかを伝える、より明確な方法を手に入れます。

クリニックにとって、 このシステムは「差別化要因」となります。世界中の多くのクリニックが甲状軟骨形成術4型やウェンドラー声門形成術のような手術を行っていますが、これほど具体的な方法で結果を実証できるところはほとんどありません。臨床的な権威とデータ駆動型のシミュレーションを組み合わせる能力は、すでに高い評価を得ているこの京都のサージセンターを、競争の激しい国際市場においてさらに際立たせるのに役立ちます。また、音響モデリングに裏付けられた術前カウンセリングや、シミュレートされた目標と実際の結果を比較できる術後フォローアップといった、新しいサービスの基盤も生み出します。これらのイノベーションは、クリニックが科学的に厳格であり、かつ技術的に先進的であることを示す一助となります。

ビジネスリーダーにとって、 このプロジェクトは、応用AIコンサルティングが戦略立案やプロトタイピングを超えた価値をいかにして生み出すかを実証しています。ドメイン専門家と共に現場に入り込み、曖昧な問題を測定可能な科学的プロセスに分解し、AIでR&Dを加速させ、専門家と共に出力を検証する、というコアプロセスは、音声手術以外にも当てはまります。私たちは、さまざまな問題やドメインにおいて、この同じアプローチを用いています。

7. リーダーへの教訓

ここでの教訓は、AIが「すべてを行える」ということではなく、AIがデータサイエンスおよびドメイン（専門領域）の知見と組み合わさることで、以前は困難すぎる、あるいはコストがかかりすぎると考えられていた問題に取り組めるようになる、ということです。これらの教訓は、ヘルスケアの領域をはるかに超えて適用可能です。

応用AIは科学的なプロセスである。 あなたには経験があっても、数学的に何が起こっているかは分からないかもしれません。今回、私たちは声を楽器のように扱い、変数を特定し、仮説をテストし、専門家と結果を検証しました。これはAIを使って定型業務を自動化することではありません。データサイエンスとAIを使った、臨床的な問題解決なのです。
コンサルティングこそが鍵である。 私たちは、複雑な問題を数学と科学に分解することによってソリューションを構築します。その数学が期待するものに近づくにつれ、私たちはドメイン専門家にその結果が「現実的」、すなわち彼らが期待しているものであることを確認します。経営幹部は、AIの成功には個々の努力ではなく、構造化されたチームのコラボレーションが必要であることを認識すべきです。
「一発勝負」の魔法ではなく、イテレーション（反復）を期待する。 私たちの最初のシミュレーションは、「ヒューマン・イン・ザ・ループ（人間による介在）」のフィードバックによって洗練される必要がありました。ピッチは期待通りにシフトしましたが、強度や共鳴には違和感がありました。外科医が臨床的な洞察を提供し、私たちがモデルを改良しました。そのループごとにモデルは洗練されていきました。今日、リーダーは期待値をリセットする必要があります。応用AIは、データサイエンスの力、専門家との協議的アプローチ、そして開発と最適化のサイクルを通じて成功するのです。

AI関連プロジェクトを「科学的プロセス」として扱うリーダーは、その成功確率を劇的に高めることができます。

私たちがクライアントと共に、いかにして複雑な課題を測定可能な成果へと翻訳しているか、詳細については「お問い合わせ」ください。

8. 用語集

基本周波数 (F0): 声帯振動の基本となる周波数で、ヘルツ（Hz）で測定されます。一般に「声のピッチ（音高）」として認識されます。甲状軟骨形成術4型のような手術は、F0を直接増加させてピッチを上げます。

フォルマント (F1–F4): 声道（喉、舌、口）によって形成される共鳴周波数帯域。フォルマントは母音の質を定義し、声がどのように（例：性別や自然さなど）聞こえるかに大きく寄与します。

フォルマント重心: フォルマント帯域の中心周波数。重心のシフトは母音の知覚に影響します。

フォルマント帯域幅: フォルマントがカバーする周波数の範囲。帯域幅の広さや狭さは、声の明瞭度や共鳴に影響します。

スペクトログラム: 時間の経過に伴う周波数の変化をプロットし、強度を色で示した音の視覚的表現。手術前後のF0とフォルマントのパターンを確認するために使用されます。

スペクトル強度: スペクトル全体にわたる周波数の音量（デシベル）。術後の声は、知覚される声の「努力」と関連して、スペクトル強度の変動が大きくなることがよくあります。

甲状軟骨形成術4型 (Type IV Thyroplasty): 輪状軟骨と甲状軟骨を接近させ、声帯の緊張を高めることによってピッチを上げる喉頭枠組み手術。通常、F0を約162Hzから約240Hzに上昇させます。

プロンプトエンジニアリング: AIシステムへの入力（指示）を設計すること。このプロジェクトでは、「フォルマントの重心と帯域幅を抽出する」といった数学的に正確なプロンプトが機能的なコードを生成した一方、曖昧なプロンプトでは弱い結果しか得られませんでした。

変換行列: 手術データから得られた平均的な音響変化（ピッチ上昇、フォルマントシフトなど）を新しい音声サンプルに適用し、「術後」の結果をシミュレートする数学的なマッピング。

検証ループ: シミュレートされた出力を外科医がレビューし、フィードバックが組み込まれ、モデルが改良される反復的なプロセス。出力が臨床の現実と一致することを保証します。

Pure Math Editorialは、私たちが組織内およびクライアントと共に生成AIを活用している様々な事例を記録し、紹介するために作成した、汎用バーチャルライターです。ケーススタディ、ソートリーダーシップ記事、ホワイトペーパー、ブログコンテンツ、業界レポート、投資家向け広報資料用に特別に設計されており、AIが異なるプロジェクトや業界に与える影響を際立たせる、明確で説得力のある構造化された文章を作成するように指示されています。AIベースのプロジェクトと同様、コンテンツ作成プロセス全体を通じて人間の監視が採用されています。