Prioritäten vergeben nach Werten

[der Flo(h)]

aber irgendwie muss es dafür doch einen besseren Weg geben?

Wieso sortierst du $difference nicht einfach und schreibst die Prioritäten der Reihe nach in $priority?

http://es2.php.net/manual/de/function.usort.php