Offensichtlich ist der Server "sehr gut ausgelastet". Wäre die Tabelle mit den 400 Einträgen im Cache sähe das anders aus.
Benötigt eine varchar-Spalte wirklich so viel länger?
Äh? Eine Spalte "ID" enthält etwas anderes als BIGINT? Mit Verlaub ist das als "eher ungünstig" zu bezeichnen. Malen Finden nach Zahlen geht einfach schneller. Das ist aber nicht die Ursache der groben Verzögerung von 2 oder mehr Sekunden. (Wie wurde die denn gemessen?)