Né à Toronto, Moe Koffman étudie au Conservatoire royal de musique. Polyvalent, il s'illustre à la flûte, à la clarinette au saxophone. Un des premiers musiciens canadiens à donner dans le be-bop, il fait ses débuts sur disque en 1948 avec les 78-tours Bop Lop et Rockin with the Bop. Dans les années 1950, il joue avec les big bands de Jimmy Dorsey, Sonny Durham et Art Mooney. De retour à Toronto, il travaille comme musicien de studio et se produit avec sa propre formation. En 1958, il connaît le succès avec la pièce Swingin' Shepherd Blues. Par la suite, il s'ouvre à la pop, au rock et à la musique classique. Durant les années 1980, il collabore avec Dizzy Gillespie, qu'il accompagne au Festival en 1988. Soliste réputé, Koffman s'est aussi démarqué comme compositeur et arrangeur.