Videos im Stil von Rousseau - Kostenlos und - falls nötig - mit KI-Unterstützung


Mephisztoe
Mephisztoe
Dabei seit
22. Sep. 2021
Beiträge
6
Reaktionen
6
Okay... mit "KI" hab ich euch vergrault, oder?
Bin gespannt, ob sich jemand für das Thema interessiert.

First things first: Wenn ich von Rousseau spreche, meine ich den hier:
▶️
Und viele fragen häufig nach, wie er das macht. Wie schafft er es, dass er offensichtlich selbst das Klavier spielt und dabei gleichzeitig die Noten visualisiert werden im Stil von Guitar Hero, resp. Synthesia (um mal beim Klavier zu bleiben). Außerdem: Wie kommen die beleuchteten Tasten zustande?

Es hat doch tatsächlich mal jemand im ernst sein Klavier mit LEDs und einer smarten Elektronik ausgestattet, die über Sensoren versucht haben, ein ähnliches Ergebnis zu erzielen. Dabei ist der "Trick" relativ einfach: Adobe After Effects. Allerdings kostet das auch entsprechendes Geld.

Nun gibt es aber auch seit einiger Zeit bereits vollkommen kostenlose Programme, mit denen sich diese Effekte ebenfalls erzielen lassen. Und das, worüber ich vor kurzem gestolpert bin, nennt sich Piano VFX.

▶️ https://piano-vfx.com/

Ich wollte es neulich einfach einmal ausprobieren, doch leider hatte ich keine Aufzeichnung von mir zur Hand, die ich dafür hätte nehmen können. Gleichzeitig hatte ich aber gerade ein Video von einem Künstler auf YouTube gesehen, dessen Stücke ich echt mag. Nur lagen mir dazu keine MIDI Dateien vor.

Die sind nämlich Voraussetzung für eine entsprechende Visualisierung.

Nach kurzer Zeit fand ich dann heraus, dass es inzwischen Services im Internet gibt, denen Du z.B. einen YouTube Link zu einem Klavierstück geben kannst und dann nutzen die für diesen Zweck trainierte KI Modelle, um daraus die Noten zu transkribieren. Heraus kommen dann MIDI-Dateien. Allerdings sind das nahezu alles Abo-Services und for free gibt's oft nur ein Sheet...

Die Idee basiert aber bei den meisten auf einer Publikation auf GitHub. Dort gibt es einen Entwickler, der genau diesen Algorithmus veröffentlicht hat und auch bereits vortrainierte Modelle bereitstellt. Voraussetzung, um das bei sich Zuhause auf dem eigenen PC laufen zu lassen, ist im Grunde genommen nur eine Python-Installation und ein bisschen KnoffHoff. ;-)

▶️ https://github.com/bytedance/piano_transcription

Und so gelang es mir in kürzester Zeit aus dem Video, das ich gesehen hatte, die Noten zu transkribieren, ein MIDI File zu erzeugen, die Audio-Spur in ein gefordertes Format zu konvertieren, das Video selbst herunterzuladen und mittels Piano VFX alles so zusammenzuführen, dass das Ergebnis vergleichbar ist zu dem, was Rousseau so veröffentlicht.

Die Version der Transkriptions-Software hat noch ein paar Lücken. Bspw. hat sie noch Schwierigkeiten, gehaltene Noten als solche zu erkennen und fügt dann oft unnötigerweise die gleiche Note mehrmals hintereinander ein. Allerdings gibt es auch einige Commits und einen umfassenden Pull-Request, mit dem das angeblich bereinigt wurde. Ich bin noch nicht dazu gekommen, das zu testen.

So...

Falls Du bis hierhin gelesen hast:
Klingt das interessant? Ich überlege, ob ich daraus ein Video oder einen Blog-Post oder ähnliches machen soll, um die Schritte genauer zu erklären und zu zeigen, wie das alles funktioniert und zusammenspielt...

1633975460891.png
 
Demian
Demian
Dabei seit
23. Okt. 2019
Beiträge
2.416
Reaktionen
3.203
Ich sehe es wie hasenbein, denke allerdings nicht, dass es für Zurückgebliebene bestimmt ist, sondern für Leute, die auf eine ganz bestimmte Zielgruppe ausgerichtet sind bzw. meinen, Blinkiblinki erhöht die Aufmerksamkeit im hart umkämften Youtube-Kosmos, womit sie bei bestimmten Leuten sicherlich auch Erfolg haben.
 
JonasKlais
JonasKlais
Dabei seit
27. Juli 2020
Beiträge
210
Reaktionen
246
Gebt ihm einen akustischen Flügel ohne Blinkiblinki. Ich verstehe zwar den Vermarktungs-, aber nicht den musikalischen Mehrwert.
 
Peter
Peter
Bechsteinfan
Mod
Dabei seit
19. März 2006
Beiträge
22.860
Reaktionen
22.346
Ja! Hier geht es ja vor Allem um die Technik dahinter, und die interessiert mich genauso wie z.B. die Technik, bei der infantile Trickfilme entstehen. Kann mir auch gut vorstellen, dass man da noch mehr als nur Buntiblinki machen kann, wenn man mal dahinter gestiegen ist.
Ich überlege, ob ich daraus ein Video oder einen Blog-Post oder ähnliches machen soll, um die Schritte genauer zu erklären und zu zeigen, wie das alles funktioniert und zusammenspielt...
Würde mich freuen!
 
S
sheep
Dabei seit
29. März 2020
Beiträge
69
Reaktionen
51
Vom technischen Standpunkt sicherlich interessant.
Was mich wirklich interessieren würde, was ist der Nutzen dahinter? Im Prinzip isses doch sowas wie dieses Flowkey, oder liege ich da falsch? Wie kann man damit denn sinnvoll arbeiten oder spielen lernen?
Ich hatte mir schon öfters so ein Video angesehen, aber ich weiß nicht, was damit anzufangen. Vielleicht kann es mir jemand erklären (ernst gemeint!!) 🙂
 
cwtoons
cwtoons
Dabei seit
28. Apr. 2011
Beiträge
9.090
Reaktionen
7.256
Services im Internet gibt, denen Du z.B. einen YouTube Link zu einem Klavierstück geben kannst und dann nutzen die für diesen Zweck trainierte KI Modelle, um daraus die Noten zu transkribieren.
Da habe ich in den letzten zehn Jahren noch NICHT EINEN gesehen, der ein vernünftiges spielfertiges Notenbild abliefert, noch nicht einmal für Blockflöte, geschweige denn für Klavier.

CW
 
J
joe
Dabei seit
14. Apr. 2010
Beiträge
250
Reaktionen
47
Da habe ich in den letzten zehn Jahren noch NICHT EINEN gesehen, der ein vernünftiges spielfertiges Notenbild abliefert, noch nicht einmal für Blockflöte, geschweige denn für Klavier.

CW
Der von mir oben genannten Patrik Pietschmann macht sehr ordentliche Noten incl. sehr gutem Fingersatz (ist aber recht teuer, muss man sagen).
 
Zuletzt bearbeitet:
J
joe
Dabei seit
14. Apr. 2010
Beiträge
250
Reaktionen
47
@virtualcai Kann sein. Ich sehe den Typen ja nicht. :003:
 

andreg
andreg
Dabei seit
27. Feb. 2017
Beiträge
261
Reaktionen
76
Ich denke Pietschmann und Co spielen auf einem Digi oder Akustikklavier mit Midi-Interface in einen Sequenzer ein, bearbeiten danach die Fehler raus und schicken das Ergebnis anschließend in die Videoaufbereitung. Wenn man spielen kann, macht das einfach am wenigsten Arbeit. Wenn es erst Mal im Sequenzer ist, ist das Erstellen der Noten auch einfacher, als wenn man alles eintippt oder mit der Maus einträgt.
 
J
joe
Dabei seit
14. Apr. 2010
Beiträge
250
Reaktionen
47
Wenn es erst Mal im Sequenzer ist, ist das Erstellen der Noten auch einfacher, als wenn man alles eintippt oder mit der Maus einträgt.
Wer das schon einmal gemacht hat, weiß, dass das Erstellen brauchbarer Noten aus einem Sequenzer (DAW) heraus der reine Horror ist. Man muss den Notentext wirklich in einem Notensatzprogramm erstellen. Aber sonst stimmte ich dir zu.
 
Peter
Peter
Bechsteinfan
Mod
Dabei seit
19. März 2006
Beiträge
22.860
Reaktionen
22.346
St. Francois de Paola
St. Francois de Paola
Dabei seit
20. Apr. 2015
Beiträge
633
Reaktionen
398
Naja, seinen Zweck erfüllt diese dämliche Visualisierung, die Reichweite auf Youtube bringt bestimmt einiges an Geld rein.

Überraschend finde ich, dass jemand, der auch dämliche TEY-Sachen auf die Weise ins Netz stellt auch eine ordentliche Gaspard de la nuit-Aufnahme zu bieten hat.
 
B
brennbaer
Dabei seit
30. Dez. 2015
Beiträge
1.798
Reaktionen
1.364
Naja, seinen Zweck erfüllt diese dämliche Visualisierung, die Reichweite auf Youtube bringt bestimmt einiges an Geld rein.
mit Sicherheit.
Gibt's da nicht die grobe Faustformel 1€ pro 1000 Klicks?

Habe mal grob die Klicks seiner Videos mit Zeitstempel "bis 1Jahr" überschlagen.
80 bis 90 Millionen sinds. Klicks!

Falls die Faustformel einigermaßen stimmt, wären das 80 bis 90 tsd Euronen.
Zwar vor Steuern, aber immerhin....
Ältere Videos sind in der Rechnung nicht berücksichtigt. Da sind welche dabei, die teilweise gerade im 2ten Jahr sind und schon die 30 Mio geknackt haben.

Für so 'nen kleinen Nebenverdienst in Heimarbeit sicherlich nicht ganz schlecht...

Wenn ich so spielen könnte, würde ich ein solches Video nach dem anderen raushauen...
 
Zuletzt bearbeitet:
Peter
Peter
Bechsteinfan
Mod
Dabei seit
19. März 2006
Beiträge
22.860
Reaktionen
22.346
Wie ist das denn zu verstehen? Blöd / fehlerhaft eingespielt?
Nein. Natürlich korrekt eingespielt und quantisiert. Aber ein Sequenzer weiß nicht, wie ein gescheites Notenbild auszusehen hat (das kommt ja auch sehr auf den musikalischen Kontext an). Da kommt zumindest für Klavier ziemlich unleserlicher Kram raus und mit den Änderungen hat man mehr zu tun als wenn man es gleich per Hand setzt.

Das ist natürlich nur meine Erfahrung; evtl. hast Du gegenteilige.
 
andreg
andreg
Dabei seit
27. Feb. 2017
Beiträge
261
Reaktionen
76
Die liegen schon etwas zurück (Cubase Score unter Win3.11). Sobald ich mit Metronom eingespielt hatte und Spurkopien speziell für die Notation angelegt hatte ging es eigentlich ganz gut. Ich hatte aber keinen Vergleich zu Finale und Co. sondern nur zur allerersten Version von Capella.
 
Cee
Cee
Dabei seit
6. Feb. 2021
Beiträge
227
Reaktionen
167
Aber ein Sequenzer weiß nicht, wie ein gescheites Notenbild auszusehen hat

Das Notenbild ist dem hier besprochenen Blinkeeffekt völlig egal, und den meint @andreg

Mit Pianorolls kann man gut elektrische Geräte steuern, fürs Klavierlernen oder -spielen taugen sie nichts. Kitsch. Habe auf YT aber auch schon Leute gesehen, die sich zig Kerzen aufs Klavier stellen...

Cee
 
Zuletzt bearbeitet:
 

Top Bottom