Enfant, Jeff Ballard s'émerveille en découvrant la musique de Count Basie, Ella Fitzgerald, Oscar Peterson et Milton Nascimento. Pendant son séjour au Cabrillo Community College, à Santa Cruz, le batteur étudie la théorie musicale et commence à se produire avec divers groupes. À 25 ans, il se joint au groupe de Ray Charles, avec lequel il passe trois ans. En 1990, Ballard part s'installer à New York. Il se découvre des atomes crochus avec plusieurs musiciens, notamment Brad Mehldau, Kurt Rosenwinkel et Mark Turner. Avec ce dernier, il monte le trio Fly, qui sera complété par Larry Grenadier. Accompagnateur en demande, ce Californien d'origine collabore, au fil des ans, avec une brochette de grands artistes, de Chick Corea à Bobby Hutcherson.