Entwickler-Interview: Robin Lobel

In diesem Interview gibt uns der Software-Entwickler Robin Lobel Einblicke in den Entstehungsprozess, seine Ideen und die Vision für SpectraLayers Pro.

Der französische Entwickler Robin Lobel hat mit zahlreichen Postproduktionsfirmen zusammengearbeitet und neue Technologien für die Rundfunk- und Medienbranche erforscht. Nach der Entwicklung eigener Plug-ins für die Videobearbeitung fand er sich bei der Arbeit an seinen eigenen Kurzfilmen mit einem ganz eigenen Problem konfrontiert: Wie entfernt man Hintergrundgeräusche aus Außenaufnahmen? Als er keine passende Software finden konnte, entschied er sich dazu, sein eigenes Programm zu entwickeln. Was als einfache Lösung zur Audiorestauration geplant war, entwickelte sich im Laufe der Zeit zu einer einzigartigen Software im Bereich der spektralen Audiobearbeitung und wird von Profis in verschiedensten Bereichen genutzt. In diesem Interview gibt der Entwickler einen seltenen Einblick in den Entstehungsprozess und die Vision hinter SpectraLayers Pro.

Kannst du uns etwas über dich erzählen? Wer bist du? An welchen Projekten warst du in der Vergangenheit beteiligt? Was motiviert dich und treibt dich voran?

Ich lebe in Paris und habe viele Jahre neue Technologien für die Rundfunk- und Medienbranche erforscht und entwickelt. Meine Arbeit in diesen Bereichen umfasst unter anderem 3D, Video- und Audio-Algorithmen und verschiedene Softwarelösungen. Meine autodidaktisch erlernten Fähigkeiten fokussieren sich auf die Verbindung der echten Welt mit der digitalen Welt –  "echte" Daten sollen einfach zu bearbeiten sein.

Nach zahlreichen Recherchen für verschiedene Postproduktionsfirmen startete ich 2009 meine eigene Firma "Divide Frame". Mein erstes Projekt war ein GPU-Decoder Plug-in für Vegas und Adobe Premiere. Zu dieser Zeit war das Decodieren von h264-Dateien (beispielsweise von Camcordern oder anderen Kameras) sehr zeitaufwendig oder nur mit Transcodierung möglich. Das von mir entwickelte Plug-in ermöglichte erstmals das grafikkartenbeschleunigte Decodieren von h264-Dateien ohne Transcoding. Eine Technik, die sich heutzutage in fast jeder NLE etabliert hat.

Wie bist du auf die Idee für SpectraLayers Pro gekommen? Hast du etwas an anderen Audio-Editoren vermisst?

Während der Arbeit an meinen eigenen Kurzfilmen war ich auf der Suche nach einem einfachen Programm zur Audiorestauration, um Hintergrundgeräusche aus meinen Außenaufnahmen zu entfernen und Stimmen zu extrahieren. Da ich so ein Programm nirgends finden konnte, entschied ich mich dafür, ein eigenes zu entwickeln. Das Programm sollte zunächst nur zur Lösung einer Aufgabe konzipiert werden, aber mit fortschreitender Entwicklung wurde immer deutlicher, dass dieses Programm viel mehr Potential besitzt.

Kannst du uns deine Vision für SpectraLayers Pro beschreiben?

Ich bin kein Fan von unverständlichen Black-Box-Lösungen und zu dieser Zeit arbeiteten die meisten Audio-Tools genau nach diesem Prinzip: Ein paar Knöpfe und Slider, ein Mausklick, und wenn man mit dem Resultat nicht zufrieden war, konnte man so gut wie nichts daran ändern. Für viele Anwendungsbereiche stellt dies kein Problem dar, beispielsweise bei einfacher Klangbearbeitung, Tonregelung oder beim Nachschnitt. Oft sind einem dann allerdings die Hände gebunden. Man kann zwar die Fehlerquelle hören oder visualisieren, aber außer den erwähnten Knöpfen bietet sich keine weitere Bearbeitungsmöglichkeit, um direkt mit den Spektraldaten arbeiten zu können. Denn das Gehirn arbeitet nicht mit Wellenformen, vielmehr empfängt und verarbeitet es einen Strom von Frequenzen. Es ergibt also mehr Sinn, die Stärken von Frequenzen über einen gewissen Zeitraum zu manipulieren, als nur die reine Wellenform zu bearbeiten. Auf Basis dieser Erkenntnis entstand der spektrum-orientierte Arbeitsansatz von SpectraLayers.

Ein Audiospektrum kann man sich auch als Bild aus Klängen vorstellen. Und ich wollte keine einfache Bildbearbeitung dafür bieten. Schließlich kann man mit Paint auch nur begrenzt Bilder bearbeiten. Mein Ziel war es, ein professionelles, vollständig anpassbares Tool zu entwickeln, ähnlich wie Photoshop, inklusive anpassbarer Werkzeuge und verschiedenen Ebenen fürs Compositing.

Wie bist du bei der Entwicklung von SpectraLayers Pro vorgegangen?

Die erste Version war noch etwas klobig – es war mein erstes großes und eigenes Softwareprojekt und zu Beginn noch nicht als kompletter Spektraleditor entworfen. Nach der Hälfte der Entwicklungsphase war ich mit dem aktuellen Stand nicht zufrieden und entschied mich dafür, noch einmal ganz von vorne anzufangen - der Grundstein für SpectraLayers war gelegt. Version 2 brachte umfangreiche Verbesserungen zu Version 1 und als ich Version 2 fertigstellte, hatte ich genug Erfahrungen gesammelt und entschied mich dazu, nochmals mit der Entwicklung komplett von vorne anzufangen. Version 3 profitierte unter anderem von einer komplett neuen Engine, orientierte sich mehr an den Workflows professioneller Bildbearbeitungsprogramme und verbesserte dadurch die Benutzererfahrung erheblich. Beispielsweise konnte jeder Ebene nun eine eigene Farbe zugewiesen werden.

Die neue Version war komplett neu und fühlte sich endlich richtig an.

Welchen Herausforderungen musstest du dich bei der Entwicklung von SpectraLayers Pro stellen? Wie hast du die Probleme gelöst?

In Bezug auf die Engine war die größte Herausforderung, eine Audio-Engine zu entwickeln, die äußerst präzise und gleichzeitig in Echtzeit arbeitet. Und das unabhängig von der Länge der Dateien, den Einstellungen oder der Anzahl der Ebenen und Kanäle. Neben meinen Erfahrungen mit Echtzeit-3D-Rendering-Programmen und -Algorithmen konnte ich auch Techniken aus der Videospielindustrie anwenden, um dem User eine ähnliche Erfahrung bieten zu können. Dies wurde unter anderem durch die Trennung der visuellen Darstellung vom Bearbeitungsprozess und durch integrierte Hardwarebeschleunigung möglich.

Eine weitere Herausforderung lag darin, den "Code" für die Manipulation von Spektraldaten zu knacken. Der User sollte einfach nur die visuelle Darstellung der Spektraldaten bearbeiten können, während die komplexen Berechnungen dafür im Hintergrund automatisch ausgeführt werden. Denn mathematisch betrachtet sind Daten aus einem Spektrum nicht ohne Weiteres veränderbar, der User kann nicht einfach eine pixelgenaue Veränderung in einem Audiospektrum durchführen, wie er es zum Beispiel bei der Bearbeitung eines Bildes tun würde. Mit der Zeit wurden bestimmte Muster und Regeln erkennbar, größtenteils handelt es sich dabei aber um unerforschte Materie. Die mathematischen Beziehungen zu entdecken, erforschen und mit neuen spektralen Bearbeitungsmöglichkeiten dem User zur Verfügung zu stellen ist eine Aufgabe, welche mich sehr erfüllt.

SpectraLayers Pro bietet einen einzigartigen Arbeitsansatz zur Audiobearbeitung. Was macht SpectraLayers Pro deiner Meinung nach so besonders?

Die Engine von SpectraLayers muss im Kern drei Kriterien erfüllen:

1) Echtzeitbearbeitung zu jeder Zeit ermöglichen: Ähnlich wie bei einem Bildbearbeitungsprogramm soll das Programm ohne zwischenzeitliches Rendern arbeiten, egal ob beim Durchsuchen des Spektrums oder beim Verändern der Parameter oder "Pixel" im Spektrum.

2) Direkte Kontrolle über das Spektrum mit jedem zur Verfügung stehenden Werkzeug ermöglichen: Jedes Sample aus dem Spektrum wird bei der Bearbeitung wie ein einzelner Pixel betrachtet.

3) Compositing und Bearbeitung in Ebenen ermöglichen, die weit über Paint-ähnliche Bearbeitung hinausgeht.

Jedes dieser Kriterien ist einzigartig und zusammen ergeben sie eine äußerst effiziente Kombination zur Bearbeitung von Audiospektren.

Worauf lag der Fokus in der neuen Version?

Interoperabilität, Multi-Projekt-Management, Ebenen-Gruppierung und Optimierung der Engine und Funktionen.

Die neue Version konzentriert sich vor allem auf Optimierungen im Bereich der Audio-Engine, effizienteres Projekt- und Ebenenmanagement und die Zusammenarbeit mit anderen DAWs (insbesondere AVID Pro Tools). So ermöglicht SpectraLayers Pro 4 den nahtlosen Projektaustausch mit Pro Tools als Plug-in (AAX). Audiodaten können mit einem Klick direkt aus der DAW zu SpectraLayers Pro transferiert, dort bearbeitet und in Echtzeit zurück importiert werden. In der Programmdokumentation gibt es Infos für die Integration mit anderen DAWs.

Innerhalb der Software ist jetzt auch die Arbeit mit mehreren Projekten parallel möglich. Daten können also schnell und komfortabel zwischen Projekten ausgetauscht werden. Die "Ebenen-Gruppierung" ist nicht nur ein reines Management-Tool, sondern kann beim gezielten Zusammenführen und selektiven Bearbeiten von verschiedenen Ebenen im Mixingprozess oder auch beim Sounddesign eingesetzt werden.

Jede neu erstellte Gruppe fungiert dabei als virtuelle Kopie, stellt die gemischten Ebenen zusammen dar und ermöglicht es so, den Mix zu bearbeiten, ohne dass die Änderungen auf die ursprünglichen Ebenen angewendet werden. Damit wird verlustfreies Arbeiten ermöglicht. Dies ist besonders hilfreich bei der gezielten Phaseninvertierung ausgewählter Frequenzen in andere Ebenen, um diese zu entfernen (ohne diese dabei aus den ursprünglichen Ebenen entfernen zu müssen).

Zu guter Letzt wurden Features wie die Frequenz- und Obertonauswahlwerkzeuge optimiert, das neue Feature "Lock to Frequency" ermöglicht mittels eines neuen Algorithmus die schnelle Navigation, Selektion und gezielte Bearbeitung von Audiomaterial innerhalb einer selektierten Frequenz. Des Weiteren bedient sich die neue Version einer brandneuen, hochqualitativen Echtzeit-Resampler-Engine, um die bestmögliche Audiowiedergabe und Aufnahmequalität zu gewährleisten – unabhängig von der zur Verfügung stehenden Hardware. Zusätzlich speichert das History Panel nun auch entfernte Tracks, neue und zusammengeführte Ebenen-Gruppen und macht den Undo-Redo-Knopf damit umso nützlicher.

Insgesamt betrachtet ist die neue Version das ausgefeilteste SpectraLayers Pro, das es je gab.

SpectraLayers Pro kann in zahlreichen Bereichen angewendet werden - und wird dies auch. Wo siehst du das größte Potential?

Geht es um die Bearbeitung von spektralen Daten, profitieren vor allem Bereiche wie Audio Cleaning und Audioforensik von SpectraLayers Pro. Aber auch im Bereich des Mastering und Sounddesigns eröffnet das Programm zahlreiche Möglichkeiten. Klassisches Mastering beschränkt sich auf die Anpassung von Hüllkurven und EQs. Wie wäre es, wenn diese Anpassungen möglich wären, während man die dreidimensionale Visualisierung seiner Tracks beobachtet? So wäre es einfach, überlappende Frequenzen und die Beziehungen zwischen verschiedenen Amplituden zu beobachten und anzupassen.

Auch im Bereich der Special Sound Effects und im Sounddesign sind völlig neue Workflows möglich: Normalerweise werden Effekte durch die bekannten Black-Box-Lösungen und Filter erzeugt. Wie wäre es, wenn neue Musik direkt im Spectral Graph erzeugt, verändert, angepasst und so ein komplett neues Klangbild erschafft werden könnte? Damit eröffnet sich eine völlig neue Klangwelt mit ungeahnten Möglichkeiten zur Anpassung und Bearbeitung von Sounds.

Hier gibt es alle Highlights zu SpectraLayers Pro.