Suo padre lavorava alla General Motors.Due dei fratelli di Elvin erano anche loro musicisti: Hank (piano) e Thad (tromba).Deve la gran parte della sua fama all'essere stato batterista del quartetto di John Coltrane (1960-1964) al cui suono e alla cui concezione musicale contribuƬ in modo essenziale. Caratteristiche del suo stile sono l'impiego estesissimo delle terzine (in questo anticipato da Roy Haynes) e dei poliritmi, eseguiti grazie a una totale indipendenza degli arti, e la distribuzione del beat su tutti gli elementi della batteria, su cui produceva un suono enorme e timbricamente complesso, che nulla toglieva alla propulsione e allo swing e che ha cambiato irreversibilmente il modo in cui i batteristi jazz scandiscono il tempo.
Discografia essenziale
Come leader
1961 Together!
1961 Elvin Jones & Company
1961 Elvin!
1963 Illumination (co-leader with Jimmy Garrison)
1965 Dear John C.
1967 Heavy Sounds (co-leader with Richard Davis)
1968 Puttin' It Together
1968 The Ultima