Karjalaisen vanhemmat olivat torppari Matti Karjalainen ja Riitta Kortelainen. Hän kävi kansakoulun ja työskenteli sitten sähkötyömiehenä ja sen jälkeen Kainuun osuusliikkeen myymälänhoitajana sekä varastonhoitajana Kuhmoniemellä ja Kajaanissa vuosina 1919–1936.
Karjalainen toimi presidentin valitsijamies vuosien 1937, 1940, 1943, 1950 ja 1956 presidentinvaaleissa ja oli mukana kunnallispolitiikassa Kajaanin kaupunginvaltuuston puheenjohtajana ja Kajaanin kaupunginhallituksen jäsenenä. Hän oli Sosialidemokraattisen puolueen puoluetoimikunnan jäsen ja Kainuun sos.dem. piirin puheenjohtaja sekä myös Otanmäki Oy:n hallintoneuvoston puheenjohtaja ja Rautaruukki Oy:n hallintoneuvoston jäsen.