В 1938 году, в возрасте 24 лет, Смит и еще один калифорниец по имени Лорри Харрисон стали одними из первых современных сёрферов, прокатившихся по волнам Северного берега в Оаху. Два года спустя Смит прошел на своем 14-футовом, 90-фунтовом полом борде из Оаху в Кауаи, преодолев дистанцию почти в 100 миль. К концу 30-часового путешествия изможденному атлету мерещилось, что он гребет вниз по Голливудскому бульвару.
Поговаривали, что Смит активно занимался греблей для того, чтобы подавлять агрессивность. При всем этом, одной гребли явно было мало: Том Блейк, один из пионеров сёрфинга в Малибу, припомнил как минимум шесть людей, которых он знал лично, и которые получили перелом челюсти от симпатичного, мускулистого, высокого (193см) и зачастую подвыпившего Смита.
На протяжении всей своей жизни Смит старался избегать общества, а в конце 70-х покинул пляжи в направлении калифорнийской пустыни, окончательно исчезнув из центра внимания.
