3044永利官网-永利澳门ios版本下载

智能家居的沉浸式音乐体验原型

像你们中的许多人一样,我一直在进行现场音乐活动的撤回-渴望明亮的灯光,激光和令人惊叹的视觉效果。这引发了以下问题:“我真的需要多少“材料”来在家模拟现场音乐体验?”以及“这个“东西”到底有多贵?”

在尝试了各种设置几个月后,我了解到您不需要大量昂贵的硬件即可创建基本体验。通过更“亲”,您可能会更快地感觉超负荷。在现场创造终极身临其境的音乐体验的最有价值的组件是现场活动照明和音乐分析数据。

以下是如何将现场事件数据与轨道分析数据相结合,然后将其转换为低延迟数据流以供与音乐同步的智能照明设备使用的示意图:

我想就如何以及为何将事件照明设计和音乐曲目分析数据与智能消费电子产品结合以增强家庭音乐消费体验,分享我的发现和想法。这是原型的视频。

现场活动照明设计和运动数据

我对现场活动的照明设计领域进行了深入研究,以对基本技术及其全部工作原理有一个基本的了解。简短的版本是这样的:

表演艺术家,灯光设计师,舞台手工艺人和促销员通过混合LED灯,激光,烟雾机,烟火技术和视频屏幕,几个月来建立所需的心情和感觉。

关键时刻和顺序,颜色的混合,频闪模式,激光和聚光灯被保存为中央系统中的“场景”,以便在现场活动中轻松回忆。

控制灯光,激光和烟雾机等设备的技术称为DMX(数字多路复用)协议。信号是单向的,这意味着它只能在一个方向上传播。从控制器或第一盏灯一直到最后一盏灯。在最基本的形式中,DMX只是灯光协议,就像MIDI键盘或DAW控制器的用法一样。

现场直播期间,灯光实时演示是由人类实时完成的。

在不涉及法律问题的情况下,让大家暂时假设世界各地的笔记本电脑中都存在现场音乐事件照明设计,动作和序列数据。大家还假设存在通过将数据馈送到ML算法以训练可视化AI或将其转换以供智能家庭音乐可视化设备使用来通过数据货币化的动机。

消费级App和硬件

我的妻子不想在大家的客厅里放一个大的DMX控制板,所以当我在家庭办公室中制作原型时,我就选择了仅App解决方案。我很高兴发现我的Pioneer Rekordbox许可证已经包含了DMX兼容的照明设计模块。

探索该App促使我研究了与DMX兼容的激光器和摇头聚光灯的价格。我能够找到一个带有3个(RGB)激光器和频闪灯的装置,价格为100美金,一个带有12个独特模板的摇头聚光灯,价格为140美金。两者都非常亮,但不能压倒一切。我确实注意到它们都很快变热,并且风扇很大声。

在测试时,我希翼上传自己的聚光灯和激光模板,例如艺术家的名字或形象化的歌词。

我还想测试非DMX解决方案,例如基于麦克风/节奏的照明。我使用了6个色相灯,1个色相LED灯带,1个色相Bloom,Nanoleaf Rhythm Edition面板,迷你迪斯科球灯泡以及一些WeMo智能插头来打开/关闭聚光灯和激光器。

我使用Apple HomeKit连接了所有设备,从而实现了对Nanoleaf面板的最细致的控制,并提供了一个中央控制界面来为体验创建原型。

零碎方法的学习

最初的学习是,如果没有人的触动或没有描述音乐结构,键和乐句进行的数据,节奏检测是不够的。虽然我可以通过手动控制照明模块来营造一个体面的氛围,但是当我放下iPad时,“魔力”很快消失了。麦克风作为输入设备的使用响应了Nanoleaf,聚光灯和激光上的触发事件。尽管如此,这些设备仍缺乏对歌曲结构,音乐键和风格的理解。这限制了他们“选择”最相关的颜色和样式来表达音乐情调的能力。用户开始注意到重复的视觉效果,序列和图案,显示出生成的视觉效果和音乐并未像在现场活动中那样被深思熟虑地编织在一起。

第二项学习是,使用多个品牌和技术零碎解决方案并不像听起来那样简单。它需要链接多个控制应用程序,创建家庭自动化场景并了解DMX的工作原理。更不用说消费者对将丑陋的XLR电缆铺在地板上不感兴趣。理想的解决方案是一套设计良好,兼容的音乐体验产品(LED灯,激光灯,移动聚光灯),具有低延迟的无线连接性,消费者将感到骄傲的是将其安装在墙壁和天花板上。

填补数据缺口以实现多感觉音乐体验

大多数DJ应用程序以及Spotify API中已经存在用于提取音轨Key,BPM,流派和Beat Grid元数据的核心音乐分析技术,可用于为听众生成动态的视觉体验。要了解数据,请在此处查看Spotify API文档:

先锋的Rekordbox擅长识别拍子网格和乐句,然后根据曲目的类型,频率和强度建议可视化。

MixedInKeyApp使用Camelot音阶分配音乐曲目键,并设置“能量”级别。该App的初衷是让DJ轻松识别2条可以和谐混合的音轨,但可以使用相同的数据和逻辑来分配调色板和灯光运动图案。

Algoriddim的Neural Mix等新技术可以实时分离人声,乐器和鼓声通道。这样就可以将每个通道动态分配给唯一的设备-例如,将鼓分配给频闪灯和激光器,将人声分配给LED灯,将乐器分配给Nanoleaf面板。

魔术棒与语音命令

当您放松和听音乐时,在Alexa中大喊命令是很不自然的。在测试原型时,我发现自己想通过带有3轴陀螺仪的蓝牙棒(与Apple Pencil一样的石墨材料制成)来像导体一样控制强度和图案。

借助Neural Mix或茎提取技术,用户可以使用魔杖来放大或静音人声,鼓或乐器层,例如,专注于Adele的声音以获得更亲切的艺术家体验。

我和我的团队使用被入侵的Nintendo Wii控制器在2007年为Adobe MAX会议开发了类似的交互模型。

慎重声明:本文版权归原编辑所有,转载文章仅为传播更多信息之目的,如编辑信息标记有误,请第一时间联系大家修改或删除,多谢。

3044永利官网|永利澳门ios版本下载

XML 地图 | Sitemap 地图