Multimedia-Suche ohne Umwege

Fingerabdrücke am Tatort verraten den Täter. Digitale Fingerprints helfen, Video- und Audio-Dateien aufzuspüren: das Party-Video im Internet, den Werbespot im laufenden Fernsehprogramm oder den langen Originalbeitrag zum kurzen Filmschnipsel im Archiv des Senders. Die Fingerprints von Musikdateien können Auskunft geben über Tempo, Genre oder den Anteil rhythmischer Instrumente.

Die von Videos enthalten unter anderem Informationen über Szenenwechsel, Kamerabewegungen oder Bildhelligkeit. Im Gegensatz zu manuell eingegebenen Metadaten sind die automatisch generierten Fingerprints immer eindeutig. In vielen Archiven – etwa von Fernsehsendern – werden sie beim Einstellen der Datei erzeugt. Anders sieht es im Internet aus: Hier müssen die Fingerprints bei jedem Suchvorgang neu erstellt werden. Dazu war es bislang nötig, komprimierte Dateien zu dekomprimieren. Mit der Multimedia-Suchmaschine DIVAS, kurz für Direct Video & Audio content search Engine, ist das nicht mehr nötig. Sie findet die gesuchte Datei, ohne den gesamten Medienbestand vorher zu entpacken.

DIVAS eignet sich zur Suche im Internet und in Archiven ebenso, wie zum Monitoring von TV-Programmen, um etwa die vertragsgemäße Ausstrahlung eines Werbespots zu überprüfen. Weil die Software von komprimierten Dateien »Fingerabdrücke« nehmen kann, arbeitet sie schneller als vergleichbare Suchmaschinen. »Bei unseren Testreihen mit MP3-Dateien hat sich die Suchdauer fast halbiert«, berichtet Prof. Dr. Gerald Schuller vom Fraunhofer-Institut für Digitale Medientechnologie IDMT in Ilmenau.

Gemeinsam mit Matthias Gruhne war er zuständig für den Audio-Part bei DIVAS – die Extraktion der Fingerprints und die anschließende Suche. Beides funktioniert selbst mit Musik-Dateien, die per Handy von einem Lautsprecher aufgenommen wurden. »Sogar bei einer starken Verfälschung des Klangs können unsere Verfahren den Song noch eindeutig identifizieren und zuordnen«, sagt Schuller.

Die Fingerprints werden im MPEG-7-Format gespeichert, dem ISO-Standard zur Beschreibung multimedialer Daten. DIVAS kann sowohl für eine Ähnlichkeitssuche zum Abgleich von Video- und Audioinhalten, als auch zur themenbezogenen Datensuche eingesetzt werden, um etwa Songs einer bestimmten Stilrichtung zu finden. Die Software arbeitet mit Audio- und Videoformaten wie MP3-, AAC-, H.264- und MPEG-2. DIVAS entstand in einem EU-Gemeinschaftsprojekt, an dem sieben Partner aus sieben Ländern beteiligt waren. Darunter auch der belgische Fernsehsender BETV, der die Multimedia-Suchmaschine in seinem Archiv einsetzen will.