Künstliche Intelligenz und Klaviersound

[Tastenscherge]

Mittlerweile gibt es ja Software, mit der man in Echtzeit mit einer fremden Stimme sprechen kann. Also nicht einfach verfremdet, sondern täuschend echt mit der Stimme einer anderen Person. Deep Fake genannt. Hier mal ein amüsantes Beispiel (ab Minute 15:50):

Xenius: KI - Wo kann uns künstliche Intelligenz schaden? - Komplette Sendung | ARTE

Die "Xenius"-Moderatoren fühlen der künstlichen Intelligenz auf den Zahn. Das Start-up CandyVoice entwickelt eine KI, die menschliche Stimmen klonen kann. Wie gut kann man Menschen damit täuschen? Und was passiert, wenn Kriminelle diese Technologie in die Finger bekommen? Außerdem geht "Xenius"...

www.arte.tv

Die technische Entwicklung geht ja in allen Bereichen rasant voran. Es dürfte also auch irgendwann (bald) möglich sein, ein Klavier mit der "Stimme eines anderen Klaviers sprechen" zu lassen. Das bietet ja ungeahnte Möglichkeiten. Ein Schrottinstrument auf der Bühne und aus den Boxen erklingt Steinway, Bösendorfer oder was man halt gerade will. Genau so würde das dann ja mit Aufnahmen im Heimstudio funktionieren. Ein leidlich gestimmter Klimperkasten erklingt als Konzertflügel.

Ist das die Zukunft?

 

[Stefan379]

Es dürfte also auch irgendwann (bald) möglich sein, ein Klavier mit der "Stimme eines anderen Klaviers sprechen" zu lassen.

Da wäre dann aber noch der miese Klang des Schrottklaviers hörbar.

 

[HbMuth]

Da wäre dann aber noch der miese Klang des Schrottklaviers hörbar.

Man kann sicher auch die Differenz zum Sound des Schrottklaviers ermitteln lassen von der "KI", so dass es addiert mit der Differenz im Zuhörer-Ohr den Sound des Edelflügels ergibt.

Nun ja, es gibt ja schon Klavieremulatoren, reine Software, die etwa mittels Physical Modelling den Klavierklang nachbildet. Pianoteq fällt mir als Beispiel ein, da gibts aber noch einige andere. Die braucht man nur mit MIDI ansteuern. Und statt der Saiten im Schrottklavier gibts halt Sensoren und Logik, die die Velocities der Anschläge in MIDI-Befehle umsetzt. Und fertig ist die Blende. Und zum Absamplen von Instrumentklängen braucht es nun echt keine KI.

Meist wenn ich von KI-Projekten erfahre, ist nicht wirklich viel Intelligenz drin, allenfalls heuristische Ist-Soll-Vergleichsansätze mit eingebauter Optimierung. Obendrein hab ich für KI nicht viel übrig, das ist eben das Buzzword von heute. Ich lass mich gern überraschen, aber die Menschheit wird sich noch umgucken, was der Preis ist von "Computer denk mal, wir sind zu faul". Technischer Fortschritt birgt halt das Risiko, dass ein GAU, oder Super-GAU, uns um so weiter zurück wirft, auf dem Gebiet der Kognition wird sich das als besonders fatal erweisen.

Ich weiß, jetzt kommt irgendwer wieder mit so nem Spruch, der immer angebracht wird, wenn jemand den technischen Fortschritt kritisiert. Ich wink schon mal ab.

 

[Sven]

Gibt's doch alles schon.

Zumindest im Gitarrenbereich ist Amp- und Guitarmodeling ganz normal verfügbare Technik.

 

[thomas 1966]

Am Ende läßt man die Klänge von einem Computer generieren. Vielleicht gleich so, wie es in den Noten steht. Dann erspart man sich das komplette Innenleben des Instruments. Die Zeit zum Üben kann man anderweitig nutzen.

Wenn es so weit ist, wird es wieder irgendwelche Nostalgiker geben, die den echten Klang ihres Spiels und Instruments hören wollen.

 

[Sven]

https://www.roland.com/de/products/v-piano/

 

[Melegrian]

Pianoteq fällt mir als Beispiel ein

Pianoteq ist nicht schlecht. Was noch echt ein Problem zu sein scheint, sind Violinen. Dachte, so als Begleitung sollte das schon funktionieren. Nur so eine virtuelle Violine weiß ja nicht, wie der Bogen geführt wird und anderes. Oder ich bekomme es diesen nicht richtig beigebracht. Die erste Violine beachtet eben keine Velocity bei Sustain und Legato, so dass sich die nur über eine Volumenkurve steuern lässt. Gitarre ist wieder einfacher.

 

[Andre73]

Diese KI-Technik nennt sich Style Transfer.
Man lernt einen bestimmten Malstil, Klang, Stimme, Verhalten etc. und wendet das gelernte Muster dann auf andere Bilder, Stimmen etc. an.
Man kann z.B. jetzt nur 5 Sekunden einer Stimme aufnehmen, und dann diese Stimme nahezu ununterscheidbar nachmachen:



Hier z.B. für Bilder - inzwischen ist man schon weiter, aber eine gute Demo:



Der Interview-Partner hier basiert komplett auf KI-Techniken:



GPT-3 generiert die Antworten.
Der Avatar und die Stimme entstehen mit Style Transfer / GANs.
Sind nur einige Beispiele, de Fortschritt ist jedes Jahr heftig.

 

[areta87]

Ist das die Zukunft?

Das ist die Gegenwart. Siehe hier. Die Echtzeit-Ansteuerung muss leider noch mit der Ausrüstung gemacht werden, die S&S zur Erstellung der Daten der elektronischen Bibliothek verwendet. Aber MIDI ist ein guter, jetzt bald 40 Jahre alter Weg dahin, eben mit zehnmal schlechterer Auflösung.

 

[Tastenscherge]

Reproduktionsklaviere sind ein alter Hut. Midi auch. Vsti ebenso und pianoteq auch. Ich rede von Echtzeitumwandlung eines Klaviersounds in einen anderen ohne Sensorsysteme im Klavier. Lediglich ein Mikrofon plus Software. Klar, man hört dann noch den Originalsound. Aber zur Aufnahme im Heimstudio oder auf der Bühne mit PA und Monitoren (auch In Ear Monitoring) wäre das ja durchaus praktikabel.

 

[Sven]

Reproduktionsklaviere sind ein alter Hut. Midi auch. Vsti ebenso und pianoteq auch. Ich rede von Echtzeitumwandlung eines Klaviersounds in einen anderen ohne Sensorsysteme im Klavier. Lediglich ein Mikrofon plus Software.

Wie schon gesagt: Für Gitarren, Bässe und Verstärker ein alter Hut. Von Roland. Was ist ein V-Piano (vermutlich auch Pianoteq) anderes, als eine Umwandlung eines reinen Sinus-Pianos in das gewünschte Modell?

 

[Melegrian]

Lediglich ein Mikrofon plus Software.

Grob würde ich vermuten, viele Einzeltöne, plus den Obertönen, plus den Raumklang, die im Mikrofon zu einem Klang verschmelzen. Der Klang ließe sich beeinflussen, davon wird sicherlich auch Gebrauch gemacht, doch ob überhaupt jemand ein Interesse daran hätte, den Klang vollständig auszutauschen, daran habe ich Zweifel. So gesehen, alles eine Frage, woran in der Entwicklung gearbeitet wird.

Ansonsten, daran wird mehr gearbeitet:

29 Piano Libraries Compared

 

[MartinH]

Das ist die Gegenwart. Siehe hier.

Wobei jetzt eben mit dem zur Zeit verbreiteten MIDI 2.0-Standard 16 Bit für die Anschlagsstärke standardmäßig und kostengünstig übertragen werden, diskriminiert also mit 65000 Stufen, unvorstellbar viel und mehr als genug. Wobei ich gerade überlege: auch 127 Dynamikstufen (nicht Fader etc.) scheint mir durchaus nicht so wenig, wenn man mal schaut, was bei einem korrekt durchgeführten ABX(!!)-Test wirklich am Ende noch unterschieden werden kann. Wurde sicher schon gemacht, geht ja einfach zB mit obiger Automation, einfach schrittweise die Auflösung verringern.
Alle weiteren Variablen können auch einfach übertragen werden, solange es die Mechanik auflösen kann.
Natürlich wird alles gemacht werden, "was geht", gut muss man das trotzdem nicht finden. (Mir reichen schon diese dämlichen Organolas.)

 

[agraffentoni]

(Mir reichen schon diese dämlichen Organolas.)

Manche sind hingegen froh darüber, daß es Ampico und Welte-Aufnahmen von berühmten Pianisten und Organisten gibt...

 

[MartinH]

Aus interpretatorischer Sicht sicher, wenn es eben keine Tonaufnahmen gibt. Manchmal allerdings direkt ernüchternd (Reger, dieser Hamburger Organist, wie hieß er gleich, in Seeven), allerdings eigentlich nicht vergleichbar mit den heutigen geschnittenen Fake-Darbietungen mit mäßiger Aussagekraft (wie schön wäre es, auf YT einen Tag "ungeschnitten, ich schwör'") zu haben.
Abgesehen davon meinte ich natürlich *heutige* Selbstspieleinrichtungen ("Orgamaten" hätte ich schreiben müssen). Mal schauen, wann der bayerische Ingenieur das Pedal "entdeckt" oder Greifarme, die registrieren. Allgemein sind die Spielvariablen bei der Orgel deutlich weniger, die Akustik tut das übrige dazu. So ein Ding mit einem "musikalischen MIDI-File" gefüttert und kein Mensch bemerkt es. Bei mir ist es mittlerweile oft andersrum: wenn ich zB Michel Chapuis höre, vermute ich erstmal ein unbearbeitetes MIDI. Ist allerdings etwas ungerecht in Bezug auf die Ästhetik dieser Zeit....

 

[Dämpferlöffel]

Hier schickt jemand ein verstimmtes Klavier durch Autotune. Ab etwa Minute 3 gibt es ein Ergebnis...

 

[Melegrian]

Natürlich wird alles gemacht werden, "was geht", gut muss man das trotzdem nicht finden.

Kommt ja immer darauf an, für was. In der Anleitung zu einer Violine steht z.B., dass für diese Produktion alles nur gesampelt wurde. Nun ja, Gesang und Pferde genügen, der Rest ist ja dann nur noch Begleitung.

 

[MartinH]

Könnte die neue Kirchenmusik sein, so wie man sich das in Landeskirchenämtern vorstellt...
Habe hier in dem Faden natürlich etwas OT geschrieben: bei mir ging es ja nur um MIDI-Dateien als "Spielanweisung für echte Instrumente", die allerdings bestimmt auch durch Algorithmen "musikalisch" gemacht werden können (dürfte es schon geben, analysieren, Kadenzen, Vorhalte suchen, Agogik einbauen, da kann man auch Romantiker darstellen). Eine Errungenschaft mehr, um teure Musiker entbehrlich zu machen. Den Rest kriegen sie selbst hin...

 

[Melegrian]

dürfte es schon geben,

Ja, Ansätze gibt es, "Ludwig 3" habe ich vor Jahren mehr als einmal getestet. Mich hat es nicht überzeugt.

Ludwigs Stärke ist seine künstliche Intelligenz: Es gibt kein anderes Programm, dass Songs so lebendig mit eigenständigen Stimmen begleiten und arrangieren kann.

Ludwig 3

Was Anwender möchten, ist wohl eher etwas wie das FL Studio. Egal ob jemand Noten lesen kann oder nicht, er kann sich erst einmal seinen eigen Beat zusammenklicken. Hier einmal ein kürzeres Beispiel.




Heute Morgen las ich etwas über Deepfakes und deren Einsatzmöglichkeiten. Der Klang eines Klaviers zu ändern, interessierte dabei nicht, doch für Wahlkämpfe einzusetzen, könnte zunehmen. Die erwähnen aber auch weniger negative Beispiele.

 

[Tastenscherge]

Heute Morgen las ich etwas über Deepfakes und deren Einsatzmöglichkeiten.

Ja, geht wohl momentan durch die Presse. Deswegen kam ich ja auch darauf.