Babası caz piyanisti, annesi şarkıcı ve dansçıydı.Şov dünyasına girmesi çok kolay oldu, zaten bebekliğinden beri sahnelerdeydi. Piyano dersleri sonrası yerel kilisede org çalmaya başladı. Blackheath`de kolejde okurken bas gitara yöneldi. Okul sonrası kulüplerde Rock&Roll, blues ve dans müziği yapmaya başladı. Ta ki 1963 başlarında eski Shadows üyeleri Jet Haris ve Tony Neehan`dan teklif gelene kadar. Grupla birlikte bir çok stüdyo çalışmasında bulundu. Lulu`dan Rolling Stones`a kadar bir çok ünlü isme kayıt yaptı. Nisan 1964`de iki enstrümantal parçanın yer aldığı kendi 45`liğini de çıkardı. İyi kazanıyordu ama yetmiyordu. Artık bir ailesi vardı. Eşi ve iki kızı. Yeni arayışlara girdi ve Jimmy Page`in bir grup kurduğunu eşinden duyunca hemen telefona sarıldı.
Led Zeppelin ile olan kariyerinde gayet başarılı olan Jones,birçok kişi tarafından grubun en sessiz elemanı olarak kabul edilir. Performansının en çok öne çıktığı albüm Physical Grafitti`dir.
Diğer ikili Jimmy Page ve Robert Plant gibi o da, grubun davulcusu John Bonham`ın trajik ölümünden sonra bir süre müziğe ara vermiş, ardından da solo projelere yönelmiştir.
