Ich gehe stark von Ersterem aus.
Wie in Deinem Beispiel gut gezeigt würde es sonst ja auch irgendwie auf die Reihenfolge ankommen in der Boni/Mali vergeben werden.
+500% Trefferchancebonus die bei 95% cappen gefolgt von einem Malus von -90% wäre ein anderes Ergebnis als ein -90% Malus der bei 5% floored, gefolgt von einem Bonus von +500%.
Also erst alle Boni/Mali zusammenrechnen und dann max(min(Trefferchance,0.95),0.05)