Né en septembre 1963 à Fianarantsoa, au sud des hauts plateaux malgaches, Jean Emilien est remarqué à cinq ans dans un concours de chants d'écoliers par le chef de canton qui lui donne la pièce en douce pour qu'il continue à vocaliser. Son initiation musicale lui venait de son grand-père, un homme qui fut enterré avec son jejy vaotavo (une sorte de mandoline). Peu après, il fait ses gammes sur le kabosse (la guitare traditionnelle malgache), qu'il joue en gardant les zébus pendant les vacances et découvre l'harmonica avec un musicien qui accompagne les élèves de son instituteur de père en jouant des airs du folklore malgache. Malgré son envie de devenir musicien à part entière, la carrière de Jean Emilien démarre pourtant assez mal : contrarié par cette vocation qu'il juge futile, son père lui brise son kabosse sur le crâne! Jean Emilien quittera alors le domicile paternel à 17 ans, se jugeant tout à fait capable de se passer de ce genre de conseil.
Après une incursion dans la variété occidentale et le reggae, il se plonge dans le patrimoine, s'intéressant notamment au vako-drazana (chant des ancêtres). Les rythmes de Madagascar sont très nombreux (salegy, jejy, sarang, vaqu'sauv, basésé), mais son inspiration tourne autour du rija, un style de sa région. Joué originellement sans instruments, le rythme donné par un battement de mains est aujourd'hui assuré par le kabosse, l'accordéon et le battement des pieds.
Un jour de 1982, un chauffeur de taxi-brousse, séduit par sa musique, l'emmène à Antananarivo pour qu'il enregistre à la radio nationale. Ses chansons sont immédiatement utilisées comme indicatifs d'émissions en vogue et Jean Emilien se produit dans les grands hôtels de la capitale et les bals. Il se voit réellement consacré au niveau national en 1983, au Kanto, lorsque le public lui lance des pièces enveloppées de billets, signe, à Madagascar, de respect et d'estime.
Son approche très inventive des styles de l'île, la structure de ses chants, sa voix très spéciale (nasale et aiguë) ainsi que ses dialogues entre un harmonica jouant à la fois mélodie et rythme (parfois syncopé, parfois glissant à la manière du blues) et un kabosse répondant par une ligne de basse (il a rajouté une corde de basse à l'instrument) enthousiasment le public.
À Paris, fin 1989, il enregistre en une nuit son premier album "Hey Madagascar", qui mêle le séga de la Réunion à divers rythmes de l'île, suivi, quelques années plus tard, d'un second album "Ezaka". Au concours "Hohner 91" d'harmonica à Detroit, il obtient la médaille d'or : son style, qui plonge aux racines du blues, le fait même flateusement comparer à Robert Johnson, le père du blues, la référence de John Lee Hooker et d'Eric Clapton.