一種音樂的虛擬合作
著名鍵盤手喬丹·魯德斯（Jordan Rudess）與麻省理工學院媒體實驗室的合作，最終在一次現場即興演出中展現了他與一個名為“jam_bot”的人工智能音樂系統之間的互動。
在九月的演出中，觀眾聚集在麻省理工學院媒體實驗室，欣賞魯德斯與兩位合作者的音樂會。其中一位是小提琴手及歌手卡米拉·巴克曼（Camilla Bäckman），她曾與魯德斯合作過；而另一位則是魯德斯與麻省理工學院團隊在幾個月前共同開發的人工智能模型“jam_bot”，這是其首次公開亮相，仍在進行中。
整場演出中，魯德斯和巴克曼之間的默契交流展現了他們作為經驗豐富的音樂家之間的合作。而魯德斯與jam_bot的互動則透露出一種不同尋常的交流。在一段受巴赫啟發的二重奏中，魯德斯在演奏幾小節後，讓AI繼續以類似的巴洛克風格演奏。每當模型接管時，魯德斯的臉上都流露出不同的表情：困惑、專注和好奇。演出結束時，魯德斯向觀眾坦言：“這是一種非常有趣且極具挑戰性的結合。”
音樂的未來
魯德斯是一位備受推崇的鍵盤手，根據《音樂雷達》雜誌的投票，他被譽為有史以來最偉大的鍵盤手。他以與獲得白金銷量和格萊美獎的前衛金屬樂隊Dream Theater的合作而聞名，並於今年秋季展開40周年巡演。此外，他還是一位獨立音樂人，最近發行了最新專輯《Permission to Fly》。魯德斯的作品結合了嚴謹的古典基礎（他在9歲時便開始在茱莉亞音樂學院學習鋼琴）以及即興創作的天才和實驗精神。
去年春季，魯德斯成為麻省理工學院藝術、科學與技術中心（CAST）的訪問藝術家，與媒體實驗室的響應環境研究小組合作，創造新的AI音樂技術。在這個項目中，魯德斯的主要合作者是媒體實驗室的研究生蘭斯洛特·布朗查德（Lancelot Blanchard）和佩里·納塞克（Perry Naseck）。布朗查德專注於生成AI在音樂中的應用，而納塞克則是一位專注於互動、動態、光與時間媒體的藝術家和工程師。這個項目的負責人是約瑟夫·帕拉迪索（Joseph Paradiso）教授，他是響應環境小組的負責人，也是魯德斯的忠實粉絲。
研究人員的目標是開發一個能夠捕捉魯德斯獨特音樂風格和技術的機器學習模型。在九月發表的一篇論文中，他們與麻省理工學院音樂技術教授埃蘭·埃戈齊（Eran Egozy）共同闡述了他們所謂的“共生演奏技藝”的願景：讓人類和計算機在實時中二重奏，從每次演出中學習，並在現場觀眾面前創作出值得表演的新音樂。
魯德斯為布朗查德訓練AI模型提供了數據，並持續進行測試和反饋，而納塞克則實驗如何將技術可視化，以便觀眾理解。
“觀眾習慣於在許多音樂會上看到燈光、圖形和場景元素，因此我們需要一個平台，讓AI能夠與觀眾建立自己的關係，”納塞克說。在早期的演示中，這表現為一種隨著AI改變和弦而改變光線的雕塑裝置。在九月21日的音樂會上，安裝在魯德斯身後的花瓣形面板通過基於AI模型活動和未來生成的編排而活躍起來。
納塞克設計並編程了這一結構，並與布萊恩·梅頓（Brian Mayton）和卡洛·曼多利尼（Carlo Mandolini）合作，從一個由來自麻省理工學院的訪問學生馬達夫·拉瓦卡雷（Madhav Lavakare）開發的實驗性機器學習模型中借用了某些運動，該模型將音樂映射到在空間中移動的點上。這一動態雕塑在音樂會中區分了AI的貢獻和人類表演者的表現，並傳達了其輸出的情感和能量：例如，當魯德斯主導時，雕塑輕輕搖擺；而當AI模型生成穩重的和弦時，則如花朵般綻放和收合。這是納塞克在演出中最喜愛的時刻之一。
“最後，喬丹和卡米拉離開舞台，讓AI完全探索自己的方向，”他回憶道。“這一雕塑讓這一時刻變得非常強大——它使舞台保持動態，並加強了AI演奏的和弦的壯觀性。觀眾顯然被這一部分吸引，坐在椅子邊緣。”
音樂技術的未來
布朗查德使用了一種音樂變壓器作為模型的起點，這是一種由麻省理工學院助理教授安娜·黃（Anna Huang）開發的開源神經網絡架構。
“音樂變壓器的工作原理與大型語言模型相似，”布朗查德解釋道。“與ChatGPT生成最可能的下一個單詞相似，我們的模型則預測最可能的下一個音符。”
布朗查德使用魯德斯在紐約錄音室錄製的和聲、和弦和旋律等元素，對模型進行了微調。在此過程中，布朗查德確保AI能夠實時響應魯德斯的即興創作。
“我們重新構思了這個項目，”布朗查德說，“從模型假設的音樂未來出發，並在喬丹決定的瞬間實現。”
如魯德斯所言：“AI如何響應——我如何與它進行對話？這是我們所做的尖端部分。”
另一個優先事項浮現出來：“在生成AI和音樂領域，你會聽到像Suno或Udio這樣的初創公司，它們能根據文本提示生成音樂。這些都非常有趣，但缺乏可控性，”布朗查德說。“讓喬丹能夠預測即將發生的事情是很重要的。如果他看到AI將作出他不希望的決定，他可以重新啟動生成或使用終止開關，這樣他就可以重新控制。”
除了給魯德斯提供預覽模型音樂決策的屏幕外，布朗查德還設置了不同的模式，音樂家可以在演奏時啟用，例如提示AI生成和弦或主旋律，或啟動呼叫與回應的模式。
“喬丹是所有事情的主導者，”他說。
音樂的未來
儘管這次駐留已經結束，但合作者們看到許多繼續研究的途徑。例如，納塞克希望實驗更多魯德斯如何能直接與他的裝置互動，例如通過電容感應等功能。“我們希望在未來能夠利用他更多微妙的動作和姿勢，”納塞克說。
雖然麻省理工學院的合作專注於魯德斯如何利用這一工具來增強自己的表演，但很容易想像其他應用。帕拉迪索回憶起早期與技術的接觸：“我演奏了一組和弦，然後喬丹的模型生成了旋律。就像有一隻音樂的‘蜜蜂’在我鋪設的旋律基礎上飛舞，做著喬丹會做的事，但又受限於我演奏的簡單進行。”他回想起那時的喜悅。“你將會看到AI插件為你最喜愛的音樂家，你可以將其帶入自己的作品中，並用一些旋鈕控制細節，”他推測。“這正是我們正在開啟的世界。”
魯德斯也希望探索教育用途。因為他錄製的樣本與他用於學生的耳訓練練習相似，他認為該模型將來可能用於教學。“這項工作不僅僅有娛樂價值，”他說。
對於魯德斯來說，進軍人工智能是他對音樂技術興趣的自然演變。“這是下一步，”他相信。然而，當他與其他音樂家討論這項工作時，他對AI的熱情經常遇到抵制。“我能理解那些感到受到威脅的音樂家的感受，我完全理解，”他說。“但我的使命是成為將這項技術推向積極事物的人之一。”
“在媒體實驗室，思考AI和人類如何共同受益是非常重要的，”帕拉迪索說。“AI將如何提升我們所有人？理想情況下，它將做許多技術所做的事情——將我們帶入一個更高的視野，使我們更具能力。”
“喬丹走在了前列，”帕拉迪索補充道。“一旦他確立了這一點，其他人將隨之而來。”
與麻省理工學院的即興演出
在魯德斯的駐留之前，媒體實驗室就已引起了他的注意，因為他想試用另一位響應環境成員、紡織研究員伊爾曼迪·維卡索諾（Irmandy Wickasono）博士創造的編織鍵盤。從那時起，“這對我來說是一種發現，學習麻省理工學院音樂世界中正在進行的精彩事物，”魯德斯說。
在去年春季的兩次劍橋訪問中（在他的妻子、戲劇和音樂製作人丹妮爾·魯德斯的協助下），魯德斯回顧了帕拉迪索的電子音樂控制器課程的最終項目，課程大綱中包括了他自己過去表演的視頻。他將一種名為Osmose的新手勢驅動合成器帶到由埃戈齊教授教授的互動音樂系統課程中，埃戈齊的成就包括共同創作視頻遊戲《吉他英雄》。魯德斯還向作曲班提供了即興創作的技巧；與麻省理工學院筆記本電腦合奏團和藝術學者計劃的學生音樂家一起演奏了他與斯坦福大學研究人員共同創作的觸控屏音樂樂器GeoShred；並在麻省理工學院空間聲音實驗室體驗了沉浸式音頻。在他最近於九月的校園之行中，他為麻省理工學院的艾默生/哈里斯計劃中的鋼琴家教授了一堂大師班，該計劃為67名學者和研究員提供音樂指導的支持。
“每次來到這所大學，我都會感到一種興奮，”魯德斯說。“我感受到所有的音樂想法、靈感和興趣在這裡奇妙地融合在一起。”
這一合作不僅展示了音樂與科技的融合，還引發了關於未來音樂創作的思考。音樂的創作不再是單一的藝術家獨自完成，而是可以與AI合作，開啟全新的音樂表達方式。這對於音樂教育的影響也不容忽視，未來的音樂學習可能會結合AI技術，幫助學生更好地理解和掌握音樂。而在創作過程中，音樂家與AI之間的對話，無疑將為音樂的未來帶來更多可能性。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
