BrickMusicTable Prototype - Waldhoer Solutions Development Platform

BrickMusicTable: Ein LEGO basierter Sequencer

Im Rahmen meiner Bachelorarbeit habe ich den BrickMusicTable entworfen. Der auf LEGO Steinen aufbauende Sequencer basiert auf OpenCV Videoerkennung. In einer eigens angefertigten Halterung können Blöcke platziert werden und dadurch Noten dargestellt werden. Das dahinterliegende Java Programm analysiert das Bild der gelegten Blöcke und übersetzt diese in MIDI Noten. Die MIDI Noten können dann an weitere Programme weitergesendet werden, ich habe SonicPi verwendet, um den MIDI Noten Klang zu verleihen. Gewisse Eigenschaften der Noten, etwa Farbe, Rotation oder darauf platzierte Pins verändern den Klang. Die Tonhöhe und Position wird ähnlich wie in normalen DAWs auf der LEGO Platte gelegt. Zusammen mit Dr. Oliver Hödl, der mich bei diesem Projekt begleitet hat durfte ich letztlich mein Bachelorstudium Informatik abschließen.

Der Aufbau des Sequencers ist einfach: Eine Webcam, ein ausreichend leistungsstarker Rechner und genügend Beleuchtung bieten genug Möglichkeiten, um Noten zu generieren. Ein zusätzliches Fußpedal (basierend auf einem LEGO Mindstorms NXT Roboter) verhindert, dass während dem Platzieren von Blöcken die Hand des Spielers fälschlicherweise als Block erkannt wird. Jedoch wurden auch andere Methoden diesbezüglich geprüft. Insbesondere die Lichtverhältnisse spielen eine wichtige Rolle bei der Bilderkennung, weshalb eine eigene halboffene Box konstruiert wurde.

Damit der Spieler weiß, welche Noten korrekt oder fehlerhaft erkannt wurden, werden die Noten in einer rein digitalen Form auf dem Bildschirm angezeigt. Dadurch können Missverständnisse vorgebeugt werden. Zusätzlich ist die optische Darstellung der Noten auch für Zuhörende öffentlich übertragen werden.

Diese Anleitung bietet dem Spieler eine kurze Einführung, wie Blöcke platziert werden können. Die unteren 3 Pin-Reihen der LEGO Platte sind für Nicht-Noten-Blöcke reserviert. Mittels 3 Pins, die jeweils auf einer dieser Reihen verteilt werden, können Tempo, Lautstärke sowie Gesamthöhe der Noten angepasst werden. Die hier nicht eingezeichneten bunten Erweiterungs- Pins können jeweils auf Blöcken platziert werden, um Oktavierung oder Betonung auszudrücken.

Leider etwas unpraktisch in der Handhabung: Die finale Prototyp-Box wird von oben mit 4 LED Glühbirnen ausgeleuchtet. Ebenfalls ist am oberen Rand die Webkamera installiert, die das darunterliegende LEGO Bild aufzeichnet. Diese Halterung ist eine von 5 entworfenen Prototypen. Der gesamte Entwicklungsprozess wurde von Musikern der Band Liquid Air begleitet. Eine letzte gemeinsame Evaluierung mit Cajón und Gitarre offenbarte weitere Möglichkeiten zur Verbesserung. Im Rahmen der Bachelorarbeit gibt es allerdings zeitliche also ressourcen-technische Grenzen. Im Gesamtbild bin ich mit der Arbeit sehr zufrieden. Zusätzlich zur Bachelorarbeit habe ich das Projekt mit Dr. Oliver Hödl für die NIME Konferenz eingereicht. Wir bleiben gespannt, ob die Arbeit angenommen wird 🙂