Big Data: Saarbrücker Informatiker ermöglichen schnelle und effiziente Suche in großen Datenmengen
Traditionelle Datenbanksysteme sind mit diesen oft überfordert. Brauchbare Werkzeuge wiederum enttäuschten bisher vor allem bei der Suche in „Big Data“. Saarbrücker Informatiker haben jetzt einen Ansatz entwickelt, mit dem man sehr schnell riesige Datenbestände nach komplexen Informationen durchsuchen kann. Ab 5. März stellen sie diesen auf dem saarländischen Forschungsstand auf der Computermesse Cebit in Hannover vor (Halle 9, Stand F34).
Unter „Big Data“ versteht man riesige Mengen an digitalen Informationen, die so groß und so komplex sind, dass sie sich nicht mehr mit einfacher Datenbanktechnologie verarbeiten lassen. Nicht nur wissenschaftliche Einrichtungen wie das Kernforschungszentrum CERN häufen solche Datenberge an. Auch Unternehmen wie Google und Facebook tun dies und werten diese aus, um strategische Entscheidungen besser treffen zu können. Wie erfolgreich solche Analysen sein können, bewies vergangenes Jahr ein Artikel der Tageszeitung New York Times. Er berichtete vom US-amerikanischen Unternehmen „Target“, das aufgrund des Kaufverhaltens einer jungen Frau bereits vor deren Vater von ihrer Schwangerschaft wusste.
Die dazu analysierte Datenmasse ist auf mehrere Dienstrechner (Server) im Internet verteilt. Die Suchfragen müssen also gleich an mehrere Rechner parallel gestellt werden. Herkömmliche Datenbanksysteme helfen nur bedingt weiter. Sie kommen mit der Datenmasse nicht klar oder überfordern ihre Anwender. Daher erfreuen sich die Datenanalysten umso mehr an den Werkzeugen, die auf dem frei verfügbaren Software-Framework Apache Hadoop basieren und dessen leistungsfähiges Dateisystem HDFS nutzen. Denn diese Systeme setzen keine hohe Expertise voraus.
„Wenn man sich ein wenig in der Programmiersprache Java auskennt, kommt man damit schon relativ weit“, erklärt Jens Dittrich, Professor für Informationssysteme an der Universität des Saarlandes. Allerdings, so Dittrich, könne Hadoop nicht so effizient Datenmengen durchsuchen und verwalten, wie es die auf Parallelisierung ausgelegten Datenbanksysteme bisher ermöglichten. Hier setzen er und seine Mitarbeiter an. Mit der von ihnen entwickelten „Hadoop Aggressive Indexing Library“, kurz HAIL, ermöglichen sie es, in HDFS gewaltige Datenmengen so zu speichern, dass Suchanfragen bis zu 100 mal schneller beantwortet werden. Sie nutzen dazu eine Methode, die sich in ihrer einfachen Form in jedem Telefonbuch findet: Um nicht der Reihe nach alle Namen durchgehen zu müssen, sind die Einträge im Telefonbuch nach Namen geordnet. Die Sortierung der Namen bildet einen sogenannten Index.
Einen solchen Index erzeugen die Saarbrücker Informatiker für sehr große Datenmengen, die sie auf diversen Servern verteilen. Im Gegensatz zum Telefonbuch sortieren sie die Daten aber nach mehreren Kriterien gleichzeitig und speichern die Daten mehrfach ab. „Je mehr Kriterien, desto vielfältiger können Sie suchen und desto höher ist die Wahrscheinlichkeit, dass Sie ihren Datensatz schnell finden“, erklärt Dittrich. „Für das Telefonbuchbeispiel würde das bedeuten, dass Sie gleich sechs verschiedene Telefonbücher haben. In jedem sind die Daten unterschiedlich angeordnet: entweder nach Name, Vorname, Straße, Postleitzahl, Vorort oder Telefonnummer. Mit dem richtigen Telefonbuch kann man dann Daten nach ganz unterschiedlichen Kriterien schnell finden.“ Der Clou ist: Seine Mitarbeiter und er haben die Erstellung dieser vielfältig einsetzbaren Indexe so organisiert, dass kein zusätzlicher Aufwand entsteht. Und auch der hierfür zusätzliche Speicherbedarf ist je nach Datensatz gering.
Informatik-Forschung auf dem Campus der Universität des Saarlandes
Die Fakultät für Informatik ist nicht die einzige Einrichtung, die auf dem Campus der Universität des Saarlandes neue Aspekte der Informatik erforschen. Nur wenige Meter entfernt haben ebenfalls ihren Sitz: das Max-Planck-Institut für Informatik, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Max-Planck-Institut für Softwaresysteme, das Zentrum für Bioinformatik, das Center for IT-Security, Privacy and Accountability (CISPA), das Intel Visual Computing Institute und der erneut bewilligte Exzellenzcluster „Multimodal Computing and Interaction“.
Fragen beantwortet:
Prof. Dr. Jens Dittrich
Tel. 681 302 70141
E-Mail: jens.dittrich@infosys.uni-saarland.de
Redaktion:
Gordon Bolduan
Wissenschaftskommunikation
Exzellenzcluster „Multimodal Computing and Interaction”
Tel: 0681/ 302-70741
Cebit-Stand 0511/ 89497024
E-Mail: bolduan@mmci.uni-saarland.de
Der saarländische Forschungsstand (Halle 9, Stand F34) wird von der Kontaktstelle für Wissens- und Technologietransfer der Universität des Saarlandes (KWT) betreut. Sie ist zentraler Ansprechpartner für Unternehmen und initiiert unter anderem Kooperationen mit Saarbrücker Forschern. Seit kurzem ist die Universität des Saarlandes auch „Gründerhochschule“ und wird dabei vom Bundeswirtschaftsministerium gefördert. Info: www.uni-saarland.de/kwt
Media Contact
Alle Nachrichten aus der Kategorie: CeBIT 2013
Neueste Beiträge
Spitzenforschung in der Bioprozesstechnik
Das IMC Krems University of Applied Sciences (IMC Krems) hat sich im Bereich Bioprocess Engineering (Bioprozess- oder Prozesstechnik) als Institution mit herausragender Expertise im Bereich Fermentationstechnologie etabliert. Unter der Leitung…
Datensammler am Meeresgrund
Neuer Messknoten vor Boknis Eck wurde heute installiert. In der Eckernförder Bucht, knapp zwei Kilometer vor der Küste, befindet sich eine der ältesten marinen Zeitserienstationen weltweit: Boknis Eck. Seit 1957…
Rotorblätter für Mega-Windkraftanlagen optimiert
Ein internationales Forschungsteam an der Fachhochschule (FH) Kiel hat die aerodynamischen Profile von Rotorblättern von Mega-Windkraftanlagen optimiert. Hierfür analysierte das Team den Übergangsbereich von Rotorblättern direkt an der Rotornabe, der…