Використання віртуальної реальності у створенні інтерактивних музичних перформансів

Автор(и)

DOI:

https://doi.org/10.24195/artstudies.2025-2.24

Ключові слова:

музичний перформенс, просторове аудіо, біометрична адаптація, візуально-музична синхронізація, тактильний зворотний зв’язок, алгоритми штучного інтелекту

Анотація

У статті досліджено технологічні підходи до використання віртуальної реальності (далі – VR) в музичних перформансах та їхній вплив на аудіовізуальне мистецтво.Установлено, що VR змінює взаємодію виконавців і аудиторії, забезпечуючи ефект присутності, персоналізацію та інтерактивний контроль музичних параметрів.Виявлено основні методи взаємодії слухачів із VR-контентом, зокрема, використання жестових контролерів, біометричних сенсорів та алгоритмів штучного інтелекту. Оцінено вплив VR-просторів на емоційне сприйняття аудиторії, зокрема, роль просторового аудіо, візуально-музичної синхронізації та біометричної адаптації в підвищенні залученості слухачів. Метою дослідження є аналіз VR-рішень для інтерактивних музичних перформансів, виявлення проблем їхньої інтеграції в концертну та студійну практику, а також розробка рекомендацій щодо вдосконалення VR-технологій у музичній сфері. Методологія ґрунтується на аналізі наукових джерел і практичних VR-кейсів, порівняльному аналізі технологічних рішень для інтерактивних перформансів, а також вивченні технічних обмежень VR-інструментів у концертній та студійній діяльності. Визначено основні проблеми та виклики впровадження VR у музичну сферу. Виявлено, що основними бар’єрами є затримка звуку, обмежена сумісність VR-інструментів із традиційними музичними системами, відсутність загальноприйнятих стандартів для мікшування та запису VR-композицій, а також високі вимоги до обчислювальних ресурсів. Запропоновано рекомендації щодо вдосконалення VR-рішень для інтерактивних музичних перформансів. Розроблено підходи до зменшення затримки звуку за допомогою оптимізованих алгоритмів просторового аудіо та штучного інтелекту. Обґрунтовано необхідність створення стандартизованих протоколів передачі аудіосигналів для забезпечення сумісності VR-інструментів із традиційними студійними комплексами. Перспективи подальших досліджень полягають у розробці нових моделей персоналізації VR-концертів на основі біометричних сенсорів та нейроінтерфейсів, удосконаленні методів автоматизованого створення музики, а також зниженні вартості VR-технологій для їхнього ширшого застосування в музичній індустрії.

Посилання

Губернатор, О. І. (2022). Імерсивні культурні практики ХХІ століття: особливості та прийоми. Культурологічний альманах, 3, 283–289. DOI: https://doi.org/ 10.31392/cult.alm.2022.3.36

Baker, C. (2017). Virtual, artificial and mixed reality: New frontiers in performance. Proceedings of the 23rd International Conference on Virtual System & Multimedia (VSMM) (Dublin, 31 October 2017 – 04 November 2017). Dublin, Ireland, 1–10. DOI: https://doi.org/10.1109/VSMM.2017.8346259

Bosman, I. de V., Buruk, O., Jørgensen, K., & Hamari, J. (2024). The effect of audio on the experience in virtual reality: a scoping review. Behaviour & Information Technology, 43(1), 165–199. DOI: https://doi.org/10.1080/0144929X.2022.2158371

Chang, W., & Shin, H.-D. (2019). Virtual experience in the performing arts: K-live hologram music concerts. Popular Entertainment Studies, 10(1–2), 34–50. URL: https://scholarworks.bwise.kr/hongik/handle/2020.sw.hongik/2780

Dang, K., Burke, G., Korreshi, H., & Lee, S. (2024). Towards Accessible Musical Performances in Virtual Reality: Designing a Conceptual Framework for Omnidirectional Audio Descriptions. Proceedings of the 26th International ACM SIGACCESS Conference on Computers and Accessibility, 6, 1–17. DOI: https://doi.org/10.1145/3663548.3675618

Endlesss. (2025). Collaborative Music Creation Platform. Endlesss: website. URL: https://endlesss.fm/

Hamilton, R., Caceres, J. P., Nanou, C. et al. (2011). Multi-modal musical environments for mixed-reality performance. Journal of Multimodal User Interfaces, 4, 147–156. DOI: https://doi.org/10.1007/s12193-011-0069-1

Jean-Michel Jarre. (2025). Welcome to the Other Side. Jean-Michel Jarre: website. URL: https://www.jeanmicheljarre.com.

Kyriakou, T., Álvarez de la Campa Crespo, M., Panayiotou, A., Chrysanthou, Y., Charalambous, P., & Aristidou, A. (2024). Virtual Instrument Performances (VIP): A Comprehensive Review. Computer Graphics Forum, 43(2), e15065. DOI: https://doi.org/10.1111/cgf.15065

Leap Motion. (2025). Hand Tracking for Virtual Reality. Ultraleap: website. URL: https://leap2.ultraleap.com/products/leap-motion-controller-2/

Mubert AI. (2025). AI-Driven Adaptive Music Generation. Mubert: website. URL: https://mubert.com/

Onderdijk, K. E., Bouckaert, L., Van Dyck, E. et al. (2023). Concert experiences in virtual reality environments. Virtual Reality, 27, 2383–2396. DOI: https://doi.org/10.1007/s10055-023-00783-3

Orchestre de la Suisse Romande. (2025). Virtual Hall. URL: https://www.osr.ch/en/virtual-hall

Park, J., Choi, Y., & Lee, K. M. (2024). Research Trends in Virtual Reality Music Concert Technology: A Systematic Literature Review. IEEE Transactions on Visualization and Computer Graphics, 30(5), 2195–2205. DOI: https://doi.org/10.1109/TVCG.2024.3372069

Ppali, S., Lalioti, V., Branch, B., Ang, C. S., Thomas, A. J., Wohl, B. S., & Covaci, A. (2022). Keep the VRhythm going: A musician-centred study investigating how Virtual Reality can support creative musical practice. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 20, 1–19. DOI: https://doi.org/10.1145/3491102.3501922

Schlagowski, R., Nazarenko, D., Can, Y., Gupta, K., Mertes, S., Billinghurst, M., & André, E. (2023). Wish you were here: Mental and physiological effects of remote music collaboration in mixed reality. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 102, 1–16. DOI: https://doi.org/10.1145/3544548.3581162

SynthVR. (2025). Modular Synthesis in Virtual Reality. Synthvr: website. URL: https://www.synthvr.com

Tuominen, P. P. A., & Saarni, L. A. (2024). The use of virtual technologies with music in rehabilitation: a scoping systematic review. Frontiers in Virtual Reality, 5, 1290396. DOI: https://doi.org/10.3389/frvir.2024.1290396

Turchet, L., Hamilton, R., & Çamci, A. (2021). Music in Extended Realities. IEEE Access, 9, 15810–15832. DOI: https://doi.org/10.1109/ACCESS.2021.3052931

Virtual Choir. (2025). Eric Whitacre’s Virtual Choir. URL: https://virtualchoir.ericwhitacre.com

Virtuoso VR. (2025). Music Creation in Virtual Reality. Virtuoso-vr: website. URL: https://www.virtuoso-vr.com

WaveXR. (2025). The Future of Music in Virtual Reality. WaveXR: website. URL: https://www.wavexr.com.

Young, G. W., O’Dwyer, N., Vargas, M. F., Mc Donnell, R., & Smolic, A. (2023). Feel the Music! – Audience Experiences of Audio–Tactile Feedback in a Novel Virtual Reality Volumetric Music Video. Arts, 12(4), 156. DOI: https://doi.org/10.3390/arts12040156.

##submission.downloads##

Опубліковано

2025-04-24

Номер

Розділ

РОЗДІЛ 2. МОДЕРНІ ПОШУКИ У ПРОСТОРІ МИСТЕЦТВА