Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia

Projektförderung

Österreichische Forschungsförderungsgesellschaft (FFG) im Rahmen des Programms „IKT der Zukunft“

Projektlaufzeit

November 2020 – Oktober 2022

Projektwebsite

Projektwebsite

Projektpartner

JOANNEUM RESEARCH Forschungsgesellschaft mbH – DIGITAL – Institute for Information and Communication Technologies (Projektleitung)
​​​​​ORF – Multimediales Archiv
FH St. Pölten - Institut für Creative\Media/Technologies
Redlink GmbH

Kontakt Österreichische Mediathek: Michael Batlogg

Motivation
Audiovisuelle Medien spielen heutzutage eine immer wichtigere Rolle und sind zu einem führenden Kommunikationsmittel geworden. Aktuelle Methoden zur Dokumentation, Indizierung sowie Archivierung multimedialer Inhalte ermöglichen keine detaillierte und präzise Beschreibung auf z. B. Ebene von Zeitab­schnitten oder für einzelne sichtbare Objekte. Weiters skalieren die derzeitigen Methoden nicht mit der ständig wachsenden Menge an Inhalten. Außerdem sind Informationen zu einem Medienobjekt oftmals in mehreren Quellen, die noch dazu unterschiedlich strukturiert sind bzw. verschiedene Modalitäten haben, zu finden und werden daher derzeit oft unabhängig voneinander verarbeitet, obwohl Inhalte und zusätzliche Informationen meist digital vorliegen. Das Resultat ist eine nur teilweise Nutzung aller vorhandener Informationen, was eine spätere Nutzung wesentlich erschwert.

Projektziel
Das Ziel des Projekts ist es, aktuelle – auf Künstlicher Intelligenz (KI) basierende – Methoden für die auto­matische Analyse audiovisueller Inhalte zu verwenden, um die semantische Anreicherung zu unterstützen und so Anwendungsfälle in der Medienbeobachtung, im Journalismus und in der Archivierung zu ermöglichen. Die Ergebnisse dieser automatischen Analyse fließen in neuartige Methoden für die Fusion multimodaler Informationen ein, welche die somit gewonnenen Informationen in einem Wissensgraphen ablegen. Damit kann die Beschreibung von Text- und Medieninhalten mit semantischen Metadaten ange­reichert ergänzt bzw. werden.
Die von TailoredMedia erstellten Analysewerkzeuge werden als interoperable Micro-Services konzipiert und ermöglichen somit die Umsetzung verschiedenster Abläufe. Sie können sowohl vor Ort als auch in privaten oder öffentlichen Cloud-Infrastrukturen genutzt werden. Ihre Anwendung orientiert sich an den Bedürfnissen der NutzerInnen und ist so intuitiv, einfach und effizient.

Projektpartner und Beiträge
Das von JOANNEUM RESEARCH geführte Konsortium ist multidisziplinär zusammengesetzt, um die erforder­lichen Kompetenzen zur Erreichung der Projektziele einzubringen und die technischen, kreativen, organisa­torischen und kommerziellen Aspekte des Projekts zu adressieren. Mit der Österreichischen Mediathek und dem ORF sind zwei Organisationen unterschiedlicher Größe aus dem Mediensektor beteiligt. Die Mediathek hat einen klaren Schwerpunkt auf Archivierung, während der ORF den gesamten Medienlebenszyklus abdeckt. Beide Partner können damit eine breite Palette an Workflows, Best Practices und technischen Anforderungen einbringen. Die Fachhochschule St. Pölten wird diese Inputs als Ausgangspunkt für einen benutzerzentrierten Gestaltungsprozess nutzen, um eine breitere Gruppe von ExpertInnen aus der Medien­branche einbeziehen und durch die Entwicklungs-, Prototyping- und Evaluierungsphasen zu führen. Die technische Expertise in semantischen Technologien und audiovisueller Inhaltsanalyse wird von Redlink bzw. JOANNEUM RESEARCH eingebracht. Beide Partner haben langjähriger Erfahrung in diesen Technologien und deren Anwendung in der Medienbranche. Redlink wird als innovatives KMU die Ergebnisse in die Produkt­entwicklungspipelines einfließen lassen. Die Projektpartner sind in den nationalen und internationalen Communities gut vernetzt, was den Wissensaustausch während und nach dem Projekt sowie die Verwertung der Projektergebnisse sicherstellt.

Interesse?
Informieren Sie sich unverbindlich bei: DI Georg Thallinger