Bei der Bewertung der Angebote ist neben der Gewichtung der Zuschlagskriterien auch die Art und Weise der Bewertung entscheidend.

Bei der Gewichtung der Zuschlagskriterien ist nachfolgendes Dilemma oft gesehen: Obwohl eine Vergabestelle dem Kriterium Preis kein allzu hohes Gewicht beimessen wollte und dieses nur mit oder gar unter 50 % gewichtet hat, gibt am Schluss trotzdem der Preisunterschied den Ausschlag für die Zuschlagserteilung. Der Einfluss der qualitativen Zuschlagskriterien wie Referenzen, Auftragsanalyse usw. auf die Bewertung hingegen bleibt marginal. Dieser immer wieder vorkommende Effekt ist dadurch bedingt, dass beim Preis die Bewertung «knüppelhart» ist. Höhere Preise wirken sich ab jedem Franken (abhängig von der angewendeten Preisspanne) direkt und linear auf die Bewertung beim Zuschlagskriterium Preis aus. Dies ist bei den qualitativen Kriterien nicht der Fall. Gerade bei Kriterien wie Referenzauskünften (in denen die Anbieter die Referenzen angeben können) oder auch der Bewertung einer Auftragsanalyse zeigen die Erfahrungen, dass die entsprechenden Abweichungen bei der Bewertung unter den einzelnen Angeboten meist nur gering ausfallen. Dies hat verschiedene Gründe:

Der wichtigste Punkt ist sicherlich, dass sich beim Preis die Bewertung aus einer rein mathematischen Formel, bei den qualitativen Zuschlagskriterien jedoch aus einer inhaltlichen Bewertung ergibt. Dies macht einen grossen Unterschied in Bezug auf die Streuung der Bewertung. Der Effekt ist aus der Schulzeit bekannt: Während etwa bei Mathematik- oder Vokabelprüfungen aufgrund klar bewertbarer Antworten oft eine grosse Streuung in der Notengebung auftritt, bewegt sich die Benotung bei Vorträgen, Aufsätzen und Präsentationen meist eher innerhalb einer kleineren Bandbreite. Stark ungenügende Noten werden in solchen Fällen weitaus weniger erteilt.

So ähnlich verhält es sich auch bei der Bewertung der qualitativen Zuschlagskriterien. Entsprechend bewegen sich in vielen Bewertungen die Punkte beim Kriterium Preis über die gesamte Bandbreite der zu vergebenden Punkte (insb. bei einer tieferen Preisspanne), während bei den qualitativen Kriterien oft nur Punkte im oberen Drittel der Bandbreite vergeben werden. Wird etwa mit Punkten von 0-5 bewertet und bei den qualitativen Kriterien ein «genügend» mit 3 Punkten belohnt, führt dies zu einer Verzerrung gegenüber dem Preiskriterium, bei welchen die Preisabweichungen linear innerhalb der festgelegten Preisspanne abgebildet werden. Auch wenn dabei die Gewichtung der Zuschlagskriterien auf die Qualität fokussiert, erhält damit der Preis ein Übergewicht.

Dieser Effekt ist nicht zu unterschätzen. Denn im Ergebnis wirkt sich dieser genauso stark auf das Verhältnis Preis/Qualität aus, wie die nominelle prozentmässige Gewichtung der Kriterien.

Verstärkt wird dieser Effekt durch den Umstand, dass Vergabestellen sich oft nicht getrauen, bei den qualitativen Kriterien substantielle Bewertungsunterschiede zu machen, um sich dem Vorwurf der Parteilichkeit und Bevorzugung nicht auszusetzen. Auch da spielt der gleiche Effekt wie in der Schule: Die Begründung einer schlechten Benotung einer Multiple-Choice Prüfung ist um vieles einfacher, als die eines schlechten Aufsatzes.

Dieses Dilemma lässt sich nur schwer lösen. Es ist aber zumindest wichtig, sich diesem Umstand bei der Gewichtung der Zuschlagskriterien und deren Bewertungsparametern bewusst zu sein. Nur wenn bei den qualitativen Kriterien substantielle Bewertungsunterschiede gemacht werden (können), erhalten die entsprechenden Kriterien auch effektiv die ihnen zugewiesene Gewichtung. Die Vergabestellen brauchen da auch einen gewissen Mut, die Bewertungsabläufe zu hinterfragen. Die mit der Revision des Beschaffungsrechts eingeführte «Zwei-Couvert–Methode» kann ein gutes Instrument sein. Bei dieser Methode werden die Preise in einem separaten Couvert eingereicht. Diese werden erst nach der qualitativen Bewertung geöffnet, was eine unvoreingenommene und objektivere Bewertung der «weichen» Zuschlagskriterien ermöglichen soll. Weiter braucht es auch ein Umdenken bei der Benotung, so dass sich die qualitativen Unterschiede auch effektiv in der Bewertung abbilden und keine Nivellierung der qualitativen Kriterien stattfindet.