В 11 лет Уолтер вместе с семьёй переехал в штат Теннеси. Мальчик ходил в пятый класс, но бросил школу ради работы — зарплаты родителей не хватало на содержание девятерых детей. Пирсон доставлял газеты и собирал бутылки.