Am Anfang der Datei finde ich nicht wirklich einen Hinweis auf die Codierung.
Doch, da:
{\rtf1\mac\ansicpg10000\cocoartf824\cocoasubrtf440
---------^^^^
ein ae: '8a\
Sprich, aus "ä" wird "'8a".
Habe auch versucht rauszufinden was '8a genau für eine Codierung ist, aber leider ebenfalls ohne Erfolg.
Ich rate jetzt einfach mal, dass Du an Position 0x8a bzw. 138 (dezimal) in einem wie auch immer gearteten Mac-Zeichensatz (hat bestimmt auch einen richtigen Namen) genauso wie vermutlich in ISO-8859-1 das ä finden wirst.