Als Kind aus Birmingham stammend, erhielt Baker seine schulische Ausbildung in West Midlands und an einem Internat in Kent, bevor er mit seiner kleinen Statur in Hastings lebte. Durch ein zufälliges Treffen 1951 trat er einer Truppe von Zwergkünstlern bei, sammelte Erfahrung im Zirkus, beim Eiskunstlauf und entwickelte zusammen mit Jack Purvis das Comedy-Duo „The Mini Tones“, das in Nachtclubs auf…