¿Qué es compilar mame?

Compilar se refiere a un término de programación.

Consiste en crear un ejecutable (algo que podemos usar como un programa cualquiera de un ordenador) a partir de los archivos que se van generando cuando programas el MAME.

Respecto a lo de optimizar... en cierto modo, si tienes los archivos y cambias un par de cosas y luego lo vuelves a compilar tienes tu propio MAME a tu gusto