Neuer JMS-Standardbenchmark

Die Standard Performance Evaluation Corporation (SPEC) hat jetzt den neuen SPECjms 2007 Benchmark veröffentlicht, der die Leistung von Message-oriented Middleware Systemen misst. Message-oriented Middleware (MOM) koordiniert die Kommunikation von Anwendungen untereinander und wird als Basis für Service Oriented Architecture (SOA) oder Event Driven Architecture (EDA) eingesetzt.

Der Java Message Service (JMS) Standard wird hierfür von den meisten namhaften Software Herstellern unterstützt. SPECjms2007 ermöglicht sowohl den Vergleich der Leistungsfähigkeit von MOM Produkten verschiedener Anbieter auf Basis von Standard-Szenarien (RFID-basierte Supply Chain) als auch die Analyse der Leistungsfähigkeit von MOM Produkten unter benutzerspezifischen Bedingungen.

SPECjms2007 wurde in einem Zeitraum von zwei Jahren als gemeinsames Projekt der TU Darmstadt, IBM, Sun, Oracle, Bea, Sybase und Apache im Rahmen des SPEC Java Komitees entwickelt. Die TU Darmstadt hatte hierbei die tragende Rolle und stellte sowohl den Projektleiter, Samuel Kounev, als auch den Lead Developer, Kai Sachs.

Zur Bestimmung der Systemleistung bildet SPECjms2007 den Nachrichtenfluss in der Supply Chain einer Supermarktkette ab. Dabei werden sowohl die interne Kommunikation (zwischen Supermärkten, Lagern und Verwaltung) als auch die Kommunikation mit externen Lieferanten und der damit verbundene Güter- und Datenfluss (z.B. RFID-Daten, Verkäufe und Bestellungen) simuliert.

Ein Testlauf in SPECjms2007 setzt alle Komponenten des Systems unter Last. Die Gesamtleistung und das Verhalten des Systems werden gemessen, inklusive MOM Software, Server Hardware, JVMs, Netzwerk und (falls verwendet) Datenbanksystem. Dabei werden die verschiedenen Funktionen von JMS genutzt, u.a. die Kommunikationsformen (Publish/ Subscribe, Queues) und verschiedene Nachrichtenoptionen (Typen, Größe, Persistenz, etc.).

SPECjms2007 unterstützt die Skalierung der Last in zwei Modi, dem sogenannten horizontalen und dem vertikalen Modus. Im horizontalen Modus wird die Anzahl der Nachrichtenerzeuger/-konsumenten (also z.B. Anzahl Supermärkte) skaliert, jedoch die Last pro Erzeuger/Konsument konstant gehalten. Im Gegensatz dazu wird im vertikalen Modus die Last pro Nachrichtenerzeuger /-konsument skaliert (z.B. Anzahl Verkäufe pro Supermarkt), während die Anzahl von Erzeugern/ Konsumenten konstant bleibt. Hinzu kommt ein weiterer Modus, der es dem Benutzer erlaubt, eigene Lastszenarien zu erstellen und somit eigene Schwerpunkte bei der Analyse des Systems zu setzen.

Das Fachgebiet Datenbanken und Verteilte Systeme (DVS) von Prof. Alejandro Buchmann an der TU Darmstadt ist seit 2001 aktives Mitglied von SPEC und war bereits an der Entwicklung und Spezifikation der Java Benchmarks SPECjAppServer2002, SPECjbb2005 und SPECjAppServer2004 beteiligt.

Die Standard Performance Evaluation Corporation (SPEC) ist eine Non-Profit-Organisation, die Benchmarks zur Leistungsbewertung von Hardware und Software entwickelt. Unter den über 80 Mitgliedern sind alle großen Hardware- und Softwarehersteller sowie einige Universitäten und Forschungsorganisationen zu finden.