數位音樂與聲音設計

臺北科技大學 115-1 學期課程，課號 362669。

課程大綱

本課程旨在引導學生掌握數位音訊處理、聲音設計與即時音像互動系統之整合應用。面對生成式 AI 趨勢，課程結合「內容創作」與「系統邏輯」，協助學生從基礎波形編輯、效果器應用與 AI 聲音生成出發，進一步透過 FMOD、PlugData 與 TouchDesigner 建立「參數控制聲音」與音像訊號映射觀念。課程最終以期末現場 DJ/VJ 展演為驗收場域，培養學生在即時音像共感、互動系統架構與跨領域協作的核心實務能力。 This course guides students in integrating digital audio processing, sound design, and real-time interactive audiovisual systems. In response to generative AI advancements, it bridges creative audio content with underlying system logic. Students progress from audio editing, dynamic processing, and AI vocal synthesis to mastering parameter mapping and datafication using FMOD, PlugData, and TouchDesigner. The curriculum culminates in a live DJ/VJ performance, developing practical competencies in audiovisual synesthesia, real-time system integration, and collaborative teamwork.

課程進度

第一週：AI 在數位音樂中的應用 第二週：數位音訊基礎 (一) - Adobe Audition 介面操作、波形破壞性編輯、取樣率與位元深度概念、錄音基礎。 第三週：數位音訊基礎 (二) - 頻譜檢視與編輯、修復音訊瑕疵 (Click/Pop)、降噪處理技巧。 第四週：創意聲音設計 - EQ (等化器)、Compressor (壓縮器)、Reverb (殘響) 等效果器應用，製作獨特的聲音素材 第五週：虛擬歌手與人聲合成 （10/5 業師協同教學) 第六週：虛擬歌手與人聲合成 （10/12 業師協同教學) 第七週：虛擬歌手與人聲合成 （10/19 業師協同教學) 第八週：聲音數據化與互動 - PlugData 音量偵測、聲音播放、音高偵測與互動（學習感受與態度評估前測）（分組教學實驗15-30 分鐘） 第九週：期中評量：期末音像展演提案（口頭報告＋企劃投影片）（可包括：音樂來源、音樂故事與場景設計、投影設計、燈光控制、音像互動等之企劃與說明） 第十週：AI 聲音處理 - 人聲與音樂分離、音軌分離、AI 母帶處理、AI 影片生音效 第十一週：遊戲音效邏輯入門 - FMOD 介面導覽，介紹非線性音效邏輯，理解「參數控制聲音」的概念 第十二週：互動音像導論 - TouchDesigner 音像設計導論 第十三週：音像互動模板 - 建構 PlugData 驅動 TouchDesigner 的音像互動基礎連線。（分組教學實驗 15-30 分鐘）（學習感受與態度評估後測） 第十四週：音像互動模板 - 引導學生將自己的 AI 音樂素材導入上週建構的模板中，進行參數映射 (Mapping) 調整。（延遲介入與解密開源、TD 教學影片觀看） 第十五週：展演實務 - 演出彩排 第十六週：期末展演 - 數位音像聽覺饗宴 (DJ/VJ Performance)（焦點訪談） * * 注意事項：本課程包含教育部教學實踐計畫之介入研究，修課同學之相關權益說明如下： 【教學實踐研究計畫修課權益宣告】 1. 成績零影響：參與純屬自願，拒絕或退出絕不影響學期成績與教學指導；成績送定鎖定前教師全程雙盲。 2. 任務差異：(1) 未參與者：正常修課與展演，無額外任務，〇填問卷（繳空白卷）；成績鎖定後數據自後台全數刪除。 (2) 參與者：無額外課業負擔，僅課內填寫 2 次問卷（共 25 分鐘），成績鎖定後自願參加課後座談。 3. 補償與退出：第 14 週後公開分組實驗之完整教學影片；修課同學若欲退出本計畫之研究（問卷、訪談），逕洽獨立助理（irene920305@gmail.com），教師不經手名單。

評量方式

課堂參與 30% (5% 為十七、十八週彈性學習成果），期中報告與作品呈現 30 %，期末音樂表演呈現 40 %。

教材

【遵守智慧財產權觀念，請使用正版教科書，不得使用非法影印教科書】 使用外文原文書：否 參考書目： 1. Writing Interactive Music for Video Games: A Composer's Guide https://www.amazon.com/Writing-Interactive-Music-Video-Games/dp/0321961587 2. Principles of Game Audio and Sound Design https://www.amazon.com/Principles-Game-Audio-Sound-Design/dp/1138738972/ref=sr_1_1?dchild=1&keywords=game+audio&qid=1607837479&s=books&sr=1-1