PREFIX ist schon immer kaputt gewesen und längst durch einen besseren Mechanismus abgelöst.
perl Makefile.PL INSTALL_BASE=/opt/perl
perl Build.PL --install_base /opt/perl
Du brauchst diese Parameter aber gar nicht zu setzen, da dein selber kompiliertes Perl seine Standardpfade von allein weiß und neue Module fein säuberlich nach site_perl einsortiert.
Mehr dazu unter http://p3rl.org/Module::Build.