Was ist neu in v1.1:
➤ Wir führen einen völlig neuen Promptsatz für unsere Music Arenas ein, bestehend aus 1,000 Prompts (500 pro Benchmark), kuratiert und ausgewogen über 17 Genres hinweg, von Classical und Jazz & Blues bis hin zu EDM, Metal und Reggae.
➤ Jeder Prompt testet Songstruktur, Stimmung, Instrumentierung oder Gesangsstil, mit längeren, komplexeren Prompts, die das heutige Prompting-Verhalten und die aufkommenden Fähigkeiten modernster Musikmodelle widerspiegeln.
➤ Nur Panel-Abstimmungen: Die Bewertungen stammen ausschließlich aus verblindeten Abstimmungen unseres rekrutierten Evaluator-Panels. Öffentliche Arena-Abstimmungen zählen nicht für die Bewertung.
Unsere aktualisierten Leaderboards starten mit mehr als 37,000 verblindeten menschlichen Präferenzstimmen: mehr als 16,000 bei AA-Music-Vocal v1.1 und mehr als 21,000 bei AA-Music-Instrumental v1.1, mit über 2,000 Stimmen für jedes platzierte Modell. Bei AA-Music-Vocal v1.1 liefern wir keine Lyrics, daher misst der Benchmark das Ende-zu-Ende-Songwriting jedes Modells.