Met collega Loek van der Linde gaf ik onlangs een interactieve presentatie, op een heus muziekfestival![1] Het driedaagse Vestrock in Hulst biedt een keur aan (grote) artiesten en activiteiten, waaronder de Vestrock University – waar je op een speelse manier nieuwe inzichten opdoet. En die nieuwe inzichten ontrafelden wij voor de combinatie AI en muziek.
Over AI zelf legden we niets uit. Een enkeling bleek het niet te gebruiken, maar het gros was natuurlijk dik aan de (vooral) generatieve AI. Dat AI muziek kan genereren is natuurlijk geen verrassing. Diegene die verwachtte dat we een knoppencursus muziek maken met AI gingen geven kwam bedrogen uit. Onze rode draad was namelijk: ja, natuurlijk kan het, maar waarom zou je het doen, of willen?
Dus startten we met de functie van muziek. Die is nogal breed, maar een heel duidelijke functie is muziek samen beleven, ofwel het creëren van verbinding. Beelden uit de moshpit bij een Volbeat concert[2], of van links naar rechts deinende massa’s bij de Snollebollekes[3] lieten daarover aan de verbeelding niks over. Zelf muziek maken heeft een belonende functie. Hoe lekker is het om even de batterij op te laden door een liedje te spelen, gewoon wat te fröbelen op een instrument of misschien al experimenterend een liedje te bedenken? Alleen dat gevoel al! Om nog maar niet te spreken over de sensatie van voor een kleine dan wel grote menigte je virtuositeit te demonstreren. En wat te denken van de relatie tussen emotie en muziek. We lieten beelden zien van de band Coldplay, die “Fix you” speelde en honderden fans tot tranen toe bewoog[4]. En we toonden bijpassende woorden van Yip Harburg: “Words make you think, Music makes you feel, Songs make you feel a thought”[5]. Het kan zelfs zo ver gaan als mindfullness, bijvoorbeeld door John Cage’s 4’ 33’’ te ondergaan. Dit nummer is meer dan vier minuten stilte, de partituur is helemaal … leeg. Dit is natuurlijk geen uitputtende opsomming van de (mogelijke) functies van muziek. Maar, een subsetje is nodig om de relatie met AI te kunnen duiden.
Alvorens daar te komen schetsten we een aantal manieren waarop AI, of liever technologie in het algemeen, wordt ingezet in de muziekwereld. In 1966 bewerkten The Beatles en The Beach Boys hun opnames met apparatuur die aanwezig was in de studio. Toen al was men bezig met (analoog) samplen van stukjes muziek, werd opnametape omgedraaid, versneld of vertraagd afgespeeld, werden diverse tracks “gestapeld” et cetera. Allemaal technieken die niet veel later een belangrijke basis zouden vormen bij het digitaal manipuleren en creëren van muziek.
En dat ging snel. Zo had David Cope in 1987 zijn computerprogramma Emmy een opera laten componeren[6]. Vervolgens vulde hij een database met patronen uit de muziek van andere componisten. Er zijn experimenten bekend uit begin jaren negentig van de vorige eeuw waarbij het publiek geen onderscheid kon maken tussen composities van menselijke componisten en die van Emmy. Cope verrichtte destijds monnikenwerk door manueel alle patronen te zoeken, coderen en op te slaan. Niet lang daarna zochten neurale netwerken autonoom naar die patronen om er vervolgens ‘nieuwe’ muziek mee te maken. Soortgelijke technologie stond ook aan de basis van de manipulatie en later ook generatie van stem– en instrumentgeluid. En dan bedoelen we de meer realistische geluiden in plaats van de blikkerige ‘robotgeluiden’ van enkele decennia terug. Artiesten gingen gebruikmaken van zogenaamde auto-tuners, die real-time correcties maken zodat zang zuiver(der) klinkt. Op zo’n zelfde manier wordt steeds geavanceerdere software en AI geïntegreerd in apparatuur om instrumentgeluid aan te passen of te genereren. Sterker nog, die instrumenten kunnen ook zelf spelen. Een zelf spelende piano zal niet veel wenkbrauwen meer doen optrekken, maar een robotband die op gitaar, bas en drums Ace of Spades van Motörhead speelt zeker wel[7]. Een ultieme vorm hiervan is te zien en horen bij The Orchestrion Project van jazzgitarist Pat Metheny[8]. Omgeven door een hele reeks zelf spelende instrumenten voert de gitarist de Orchestrion Suite uit. Het bijzondere is dat improvisatie onderdeel uitmaakt van de uitvoering. Dus, Metheny reageert ter plekke, spontaan op wat hij hoort en dat doen die zelf spelende instrumenten ook (ten dele).
Het kan dus, maar wat zijn valkuilen? Large Language Models, die achter toepassingen zoals ChatGPT zitten, zijn getraind op immens veel tekstuele data die vaak ‘illegaal’ gescrapet en gebruikt is. Bij generatieve AI die muziek kan creëren geldt iets soortgelijks. Dat leidde al regelmatig tot protesten[9] en rechtszaken[10]. Dat generatieve AI makkelijk en snel tot deep fakes leidt weten we allemaal. Daarom toonden we een AI-gegeneerd filmpje van het nummer “This is the Future Rave Sound”. Daarin spreekt DJ David Guetta die (en andere) woorden uit, maar met de stem van de rapper Eminem[11]. Idles deed iets soortgelijks in samenspraak met Chris Martin, de zanger van Coldplay. In de door AI-gegenereerde videoclip lijkt Martin weggelopen uit de oorspronkelijke clip van “Yellow” (Coldplay), maar het nummer dat hij zingt is “Grace” van Idles[12]. Tot zover de afgesproken zaken. Maar wat broeit er allemaal onder het oppervlak, bijvoorbeeld bij de streamingdiensten?
Ondanks het feit dat Spotify in 2023 tienduizenden door AI-gegenereerde nummers verwijderde lijkt die inspanning noch realistisch, noch helemaal waarheidsgetrouw. Zo ontdekte Liz Pelly dat het bedrijf al jarenlang werkt met zogenaamde spookmuzikanten[13], waarvan vermoed wordt dat er ook AI achter zit. Die drukken dus reguliere muzikanten uit de playlists[14]. Maar dat is niet alles. Zo zocht GeeksforGeeks uit wat Spotify allemaal doet met AI[15]:
– Personalized Recommendations
– AI-Driven Content Creation
– Natural Language Processing for Music Categorization
– Audio Analysis for Better Music Recommendations
– Voice-Activated Features with AI
– Ad Targeting and Audience Segmentation
– Enhanced User Engagement through Machine Learning
Bij de eerste is de nieuwste telg naar verluidt het nieuw premiumplan Music Pro: een betaalde AI-mix tool voor gebruikers om aangepaste mixen te maken door tracks van verschillende artiesten te combineren[16].
Toch hoeven we ons volgens Koos Zwaan, lector Innovatie aan Inholland, geen zorgen te maken dat de muziekbusiness helemaal door AI wordt overgenomen. Hij stelt: “Hoewel AI bepaalde taken makkelijker kan maken voor artiesten, blijft de menselijke touch essentieel. AI kan een structuur genereren, maar een artiest voegt de emotionele laag toe die een nummer betekenisvol maakt.” Ook benoemt Zwaan de onmisbare live-ervaring van artiesten die AI nooit zal kunnen nabootsen[17]. We gaan het zien. Om de meningen hierover te peilen op Vestrock legden we het publiek een aantal stellingen voor:
– Alleen mensen zijn creatief, AI kan dat niet zijn.
– Het interesseert de gemiddelde luisteraar niet of muziek door AI gemaakt is.
– Het maakt per genre uit of (en wat) er AI-gegenereerd is.
– AI kan niet voelen, dus het kan nooit goede muziek maken.
– Mijn Spotify-profiel is toch al suf geanalyseerd met AI, dus laat het dan ook maar de muziek maken die ik wil horen.
Als rechtgeaarde Data Scientist doe ik hier geen uitspraak over de uitkomsten van deze niet-representatieve steekproef vol bias. Maar toch, het zou de moeite waard zijn om eens serieus (promotie-)onderzoek te doen naar die match tussen de AI en de functie van muziek. Blijven er die hards over die behoefte hebben aan die emotionele laag die een nummer betekenisvol maakt? Vinden we verbinding bij AI-genereerde muziek, eventueel door zelf spelende instrumenten, of robots uitgevoerd, of anders rechtstreeks gestreamd?
Als hulpmiddel voor diegenen die er serieus over wilden nadenken visualiseerden we een heel simpel, maar bekend blokkenschema: stop data in een AI-applicatie en die genereert waarde, ofwel AI moet een doel hebben. Maar dat doel moet je wel eerst vaststellen, ofwel je moet het blokkenschema andersom lezen, of hanteren: bepaal het doel, kijk dan of je dat met AI kunt behalen en zoek er vervolgens de passende data bij. Daar komen die functies van muziek zoals het streven naar verbinding, uitstekend van pas.
Ten slotte zouden hier dan nog de principes van Responsible (Application of Data &) AI op toegepast moeten worden. Dan is het wettelijk en ethisch in orde, transparant et cetera. Klinkt als een prima onderzoeksidee. Wie financiert?
Mischa Beckers, lector Data Science, HZ University of Applied Sciences
[1] Deze column is dan ook gebaseerd op de informatie die Loek (Data Science Lab Manager @ JRCZ, https://www.linkedin.com/in/loek-van-der-linde-3102991a0 ) en ik samen voor die presentatie hebben verzameld.
[2] Volbeat – Sad Man’s Tongue (live @ Rock am Ring 2013), https://www.youtube.com/watch?v=P15x7ImXTHI
[3] Snollebollekes – Links Rechts (live @ Olympiastadion Berlijn 2024), https://www.youtube.com/watch?v=1VYneKBXPHU
[4] Coldplay – Fix You (live @ River Plate 2022), https://www.youtube.com/watch?v=pTPTO-2LEZE
[5] The most elegant key change in all of pop music, https://www.youtube.com/watch?v=epqYft12nV4
[6] Sautoy, Du, M., The Creativity Code; How AI is learning to Write, Paint and Think, Harper Collins Publishers, 4th ed. (2020)
[7] Compressorhead – Ace of Spades, https://www.youtube.com/watch?v=3RBSkq-_St8, dit kon 12 jaar geleden al! Vijf jaar later was er ook een zingende robot aan toegevoegd, https://www.youtube.com/watch?v=9gMX_hR-RoM
[8] Pat Metheny – The Orchestrion Project, https://www.youtube.com/watch?v=evHVh4bqaOQ
[9] https://www.nrc.nl/nieuws/2025/05/18/elton-john-fel-op-kabinet-uitblijven-ai-regels-is-een-misdaad-tegen-artiesten-a4893713
[10] https://www.reuters.com/technology/artificial-intelligence/music-labels-sue-ai-companies-suno-udio-us-copyright-infringement-2024-06-24/
[11] https://www.youtube.com/shorts/91iyRzFPvpA
[12] https://www.npo3fm.nl/nieuws/3fm-nieuws/dc444c58-337c-402d-9014-cbe177354ced/is-ai-de-toekomst-van-muziek
[13] https://harpers.org/archive/2025/01/the-ghosts-in-the-machine-liz-pelly-spotify-musicians/
[14] https://www.nrc.nl/nieuws/2025/01/16/ai-teksten-in-een-tijdschrift-en-ai-muziek-op-spotify-is-de-lezer-of-luisteraar-daarmee-gediend-a4879798
[15] https://www.geeksforgeeks.org/artificial-intelligence/how-spotify-uses-ai-and-what-you-can-learn-from-it/
[16] Spotify Wants You To Pay Extra For AI-generated Mixes—seriously? – Dataconomy
[17] https://www.npo3fm.nl/nieuws/3fm-nieuws/dc444c58-337c-402d-9014-cbe177354ced/is-ai-de-toekomst-van-muziek
