Á þessum árum stundar Jóhannes nám í lýðskólanum í Hjarðarholti og í Kennaraskólanum. Hann er mjög virkur innan ungmennafélagshreyfingarinnar, flytur ræður á samkomum og byrjar að yrkja af krafti. Fyrstu bækur hans líta dagsins ljós: Bí, bí og blaka (1926), Álftirnar kvaka (1929) og Ég læt sem ég sofi (1932). Jóhannes hlýtur verðlaun fyrir hátíðarljóð á Alþingishátíðinni 1930.