Tach!
Lösung: Ermittle erst einmal ein Viereck, dann geht die Abfrage mit größer und kleiner (Länge und breite). Schließe dann die Werte, die außerhalb des Kreises liegen innerhalb von php aus.
Man kann statt PHP auch die HAVING-Klausel nehmen. Mit dem WHERE sollte man darauf abzielen, den Index verwenden zu können, um so bereits recht schnell die Menge einzudampfen. Berechnungen mit dem Werten von Feldern sind da also kontraproduktiv, weil das einen Full-Table-Scan benötigt, um die Kandidaten zu ermitteln. Das HAVING macht dann die Feinarbeit an den hoffentlich wenigen Datensätzen des Zwischenergebnisses.
dedlfix.