Hi.
Der von Dir geschilderte Ablauf ist zwar nicht 100% präzise, passt aber schon. Auch der Ansatz "Bevor der SWF Player die Bilddaten darstellt, soll er den Filter anwenden" ist möglich.
AFAIK gibt es aber keinen direkten Scharfzeichnungsfilter.
Ganz krasse Idee: Arbeite mit dem Bitmapdata Objekt und greife die Bilddaten ab. Dann musst Du dich nur noch mit Scharfzeichnungsalgorithmen beschäftigen und (z.B. ActionScript) implementieren. Das würde dann aber noch viel langsamer, also die Flash eigenen Filter.
Solltest Du das tatsächlich probieren wollen, poste hier bitte mal Deine Erfahrungen ;-)
Nochmals: Den Codec zu überdenken scheint mir sinnvoller. Selbst wenn Du dich in kürzester Zeit zum Flashguru ausbildelst, einen eigenen Player schreibst sowie einen bahnbrechenden Scharfzeichnungsalgorithmus erfindest und implentierst: Das Ergebnis wird in keinem Verhältnis zu den Alternativen stehen: Höhere Bitrate / Besserer Codec.
Flex SDK:
http://opensource.adobe.com/wiki/display/flexsdk/
;-)
Grüße