Sin da giovane Terry apprese a suonare l'armonica dal padre, il quale usava esibirsi in vari eventi locali. All'età di cinque anni perse la vista ad un occhio ed intorno ai diciotto la perse totalmente a seguito di un secondo incidente. A questo punto capì di non avere molta scelta circa i mestieri che avrebbe potuto svolgere per vivere e decise che si sarebbe dedicato alla carriera musicale. Iniziò a muoversi in questo senso stabilendosi a Shelby, North Carolina, dove apprese la tecnica blues, e cominciando ad esibirsi come artista di strada nelle vicine Raleigh e Durham. Poco più che ventenne strinse amicizia con il chitarrista Blind Boy Fuller e nel 1937 iniziarono a registrare assieme il primo materiale per l'etichetta Vocalion.Nel 1938 Terry si esibì al Carnegie Hall di New York per il leggendario concerto From Spirituals to Swing di John Hammond eseguendo il brano Mountain Blues.Nel 1941 Fuller morì; Terry si unì così al chitarrista Brownie McGhee, che aveva conosciuto gi