Ambas formas son correctas. Baya se refiere a un fruto carnoso lleno de semillas: Las moras y las fresas son bayas. Vaya se refiere a la acción del verbo ir. O, como expresión para comentar algo nos gusta o disgusta: Vaya a la esquina a recoger la medicina.
Son palabras homófonas, es decir, se pronuncian igual pero su significado es diferente.