Was testen Kameratests?

Nachdem ich ja in einem früheren Leben mal hauptberuflicher Kameratester war – eine Tätigkeit, der ich schon lange nur noch in Ausnahmefällen nachgehe –, komme ich immer öfter ins Grübeln, ob die gängigen Kameratests überhaupt das testen, was sinnvollerweise zu testen wäre.

Als die ComputerFoto, mein damals wichtigster Kunde, 2005/2006 das Erscheinen einstellte, brach damit zwar eine Einnahmequelle weg, aber das Gute daran war, dass ich keine Kameras mehr testen musste. Dabei hatte ich das Testverfahren seinerzeit (zusammen mit Andreas Jordan, der später zum fotoMAGAZIN wechselte) selbst entwickelt, aber weil ich kaum noch zu irgendetwas anderem kam, war ich froh, der Tretmühle entkommen zu sein. Heute sehe ich aber auch die Methodik kritisch, mit der wir damals die Bildqualität von Kameras zu quantifizieren versuchten.

Dabei hatte unser Verfahren durchaus Hand und Fuß. Wir maßen die Auflösung, das Helligkeits- und das Farbrauschen (auf die getrennte Messung von Farb- und Helligkeitsrauschen war ich besonders stolz, weil das sonst kaum jemand machte), und wenn eine Kamera dabei besser abschnitt als eine andere, dann war das so. Ich wüsste nicht, dass wir jemals falsch gelegen hätten.

Meine Zweifel an unserer Testmethodik beziehen sich nicht so sehr auf die Tatsache, dass die Bedeutung technischer Qualitätskriterien generell überschätzt wird. Sicherlich sind nicht alle Kameras gleich erschaffen, und sicher macht ein Modell manches etwas besser als ein anderes. Aber es gibt von der Handvoll etablierter Hersteller schon seit Jahren keine schlechten Kameras mehr, und wem es nicht gelingt, mit einer bereits vorhandenen Kamera die Bilder zu machen, die ihm oder ihr vorschweben, sollte sich das Heil nicht von einem neuen Modell erhoffen, sondern an der Verbesserung der eigenen Fähigkeiten arbeiten. Das bringt mehr und kostet weniger, als auf dem Irrweg von Hersteller A über B und C zu D und schließlich zurück zu A mit hochfrequentem Kaufen und Verkaufen Geld zu verbrennen. Wenn man eine Kamera gefunden hat, mit der man gut zurecht kommt, weil sie zur eigenen Arbeitsweise passt, tut man gut daran, dabei zu bleiben, statt auf vermeintlich grüneres Gras auf den Weiden anderer Hersteller zu spekulieren.

Doch mir geht es hier um etwas anderes. Auf dem Kameramarkt findet man viele Modelle mit der gleichen Sensorauflösung. Oft sind ihre Sensoren tatsächlich baugleich oder weichen nur wenig voneinander ab. Es gibt ja gar nicht so viele Sensorhersteller von einiger Bedeutung, und unter denen hat Sony seit Jahren den größten Marktanteil. Nun mag der eine Hersteller einen ausgefuchsteren Autofokus, der andere einen größeren Pufferspeicher und der dritte einen höher auflösenden Sucher einbauen, aber wenn man die am Ende aufgenommenen Fotos vergleicht, müssten sie sich qualitativ doch weitgehend gleichen. Oder? Trotzdem finden Kameratester qualitative Unterschiede, und es gibt keinen Grund, an der grundsätzlichen Validität ihrer Messverfahren zu zweifeln.

Bei ComputerFoto hatten wir beispielsweise die Auflösung in horizontaler, vertikaler und diagonaler gemessen und den Mittelwert gebildet. Aufgrund der Geometrie des üblichen Pixelrasters ist die theoretisch erreichbare diagonale Auflösung höher als die horizontale und vertikale – der Faktor ist die Wurzel aus 2, macht also etwa 40 Prozent aus. Tatsächlich haben wir zwar nie eine 40 Prozent höhere diagonale Auflösung gemessen, denn schließlich muss auch das Objektiv mitspielen, das zwischen horizontal, vertikal und diagonal keinen Unterschied macht, aber merklich höher war sie immer – mit einer Ausnahme. Bei Sonys Modellen, Kompaktkameras ebenso wie Systemkameras, lag die diagonale Auflösung stets auf demselben Niveau wie die horizontale und vertikale. Am Sensor konnte es nicht liegen, und so blieb als Erklärung nur das Demosaicing, also die Interpolation von RGB-Pixeln aus den Werten der Sensorpixel, die ja nur für jeweils eine Grundfarbe empfindlich sind. Sonys Demosaicing-Algorithmus zog offenbar keinen Nutzen aus der höheren diagonalen Auflösung, wie sie der Sensor lieferte.

Wohlgemerkt: Diese Beobachtung liegt viele Jahre zurück, und ich vermute, dass Sony sein Demosaicing seitdem verbessert hat. Ähnliches gilt für eine Auffälligkeit anderer Art bei den Testbildern von Nikon-Kameras. Wir werteten ja das Helligkeits- und Farbrauschen getrennt aus, und normalerweise zeigte sich ein stetiger Anstieg beider Rauscharten, wenn wir den ISO-Wert erhöhten, auch wenn dieser durch die Rauschunterdrückung gebremst wurde. Nicht so jedoch bei Nikon, denn während das Helligkeitsrauschen wie üblich mit dem ISO-Wert stieg, blieb das Farbrauschen fast konstant niedrig. Nun haben Farb- und Helligkeitsrauschen dieselbe Quelle: Die Werte der Sensorpixel in den Rohdaten weichen zufällig vom Sollwert ab, und wenn beispielsweise ein rotempfindliches Sensorpixel einen etwas höheren Wert liefert, wird das daraus berechnete Bildpixel sowohl heller als auch röter. Ein und dasselbe Rauschen erzeugt also Farb- wie Helligkeitsrauschen. Wenn sich beide Rauscharten dennoch unterscheiden, kann das nur an der angewandten Rauschunterdrückung liegen, und Nikon verfolgte damals offenbar die Strategie, das Farbrauschen mit steigendem ISO-Wert um so stärker glattzubügeln, damit die Messwerte annähernd konstant blieben.

Mit anderen Worten: Wir haben nicht gemessen, was der Sensor der Kamera leistet, sondern stattdessen deren interne Bildverarbeitung getestet – also das, was oft als JPEG-Engine bezeichnet wird. Und solche Ergebnisse mögen zwar aussagekräftig sein, so lange man nur die out of camera JPEGs verwendet, aber in einem Raw-Workflow gelten völlig andere Regeln. Mit einem modernen Raw-Konverter könnte man aus unseren Testbildern von damals etwas herausholen, das mit den alten Testergebnissen nichts mehr zu tun hätte. Insbesondere die neueren KI-basierten Demosaicing-Verfahren wie Adobes »Verbessern« würden unsere Auflösungs- und Rauschmessungen über den Haufen werfen.

Nun liegt meine aktive Zeit als Kameratester mit eigenem Testlabor schon lange zurück, aber auch wer heute in diesem Metier unterwegs ist, testet meist nicht grundsätzlich anders. Man könnte auf Basis von Bildern testen, die mit einem Raw-Konverter entwickeln wurden, aber dann würden wiederum dessen Eigenschaften in die Ergebnisse einfließen und sie so verfälschen.

Wie aber sollte man testen – und was überhaupt? Man könnte sich auf die Faktoren konzentrieren, die tatsächlich die im besten Fall erreichbare Bildqualität bestimmen. Dafür ist nicht nur der Sensorchip selbst verantwortlich, sondern der gesamte Stapel, zu dem auch Schutz- und UV/IR-Sperrfilter, Mikrolinsen und RGB-Filter gehören.

In einem flachen Winkel einfallendes Licht kann sich je nach dem Aufbau des Sensorstapels in ein falsches Sensorpixel verirren, und da die Nachbarpixel für eine andere Farbe empfindlich sind, entstehen dann nicht nur Unschärfen, sondern auch Farbfehler. Im Extremfall wird das Licht mehrfach reflektiert und erzeugt visuelle Echos. Um solche Fehler zu erfassen, kann man einen Lichtpunkt in verschiedenen Winkeln auf den Sensor projizieren un d die Rohdaten auswerten.

Die Durchlasscharakteristik der RGB-Farbfilter ist entscheidend für die Farbwiedergabe: Ihre Durchlasskurven müssen sich so ergänzen, dass sich einerseits gesättigte Farben erkennen lassen, sie sich aber so weit überlappen, dass feine Farbabstufungen differenziert werden. Dazu kann man ein kontinuierliches Spektrum auf dem Sensor abbilden.

Bei der Grundempfindlichkeit des Sensors kann man ermitteln, wie viel Licht die Sensorpixel verkraften, bevor sie gesättigt sind und überlaufen – zweckmäßigerweise für rot-, grün- und blauempfindliche Pixel getrennt. Dies ist aussagekräftiger als die ISO-Angaben der Hersteller, von denen einige nach dem SOS- und andere nach dem REI-Standard messen; SOS- und und REI-Werte sind nicht vergleichbar und die REI-Werte verschiedener Hersteller auch nicht.

Hinter der ISO-Umschaltung können sich manchmal Tücken verbergen: Statt der auswählbaren Zwischenwerte in 1/3 EV-Stufen schalten manche Kameras tatsächlich in ganzen EV-Stufen um und mogeln die Tonwert bei den Zwischenstufen bloß passend hin; damit verschenkt man einen Teil der Bildqualität. Auch die ISO-Stufen unterhalb der Grundempfindlichkeit muss man darauf untersuchen, welche Kompromisse beim Dynamikumfang sie erfordern.

Das Rauschen sollte man natürlich messen, aber das geht auch auf Basis der Rohdaten, so dass keine getrennte Auswertung von Farb- und Helligkeitsrauschen nötig ist. Und man sollte das unvermeidliche Photonenrauschen von den Messwerten abziehen, da es nicht vom Sensor erzeugt wird und deshalb nicht als Bewertungskriterium für Kameras taugt.

Alle diese Tests erfordern übrigens kein Objektiv; man muss sich also nicht damit beschäftigen, welches Objektiv so gut abbildet, dass es das Testergebnis am wenigsten beeinflusst.

Wie gesagt: Man darf die Bedeutung technischer Testkriterien nicht überbewerten, und man sollte sich auch nicht alle ein, zwei Jahre eine neue Kamera kaufen. Aber wenn man sich zum Kauf einer Neuen entschlossen hat, spricht nichts dagegen, unter verschiedenen ansonsten gleichwertigen Modellen das technisch Beste zu wählen, und dazu braucht man Kameratests, die testen, worauf es wirklich ankommt.