McCarthy, gençlik yıllarını, doğduğu yer olan Boston ve sonradan taşındıkları Los Angeles'da geçirdi.
1948 yılında, matematik lisans eğitimi için girdiği "California Institute of Technology"den mezun oldu. Mezuniyetinin hemen ardından doktorası için Princeton Üniversitesi'ne başvurdu ve kabul edildi. Matematik üzerine olan doktorasını 1951'de verdi.
Princeton University, Dartmouth College, Massachusetts Institute of Technology, ve Stanford University'de öğretim görevliliği yaptı.
