Pyy työskenteli renkinä ja kuskipoikana 1897–1901 ja oli sitten työssä naulatehtaassa vuoteen 1913 saakka. Tämän jälkeen hän oli asutustilallisena ja pienviljelijänä Viipurin maalaiskunnassa vuosina 1913–1939. Pyy toimi lisäksi Viipurin maalaiskunnassa Suurperon asutusalueen yhteismetsähallinnon kirjanpitäjänä ja oli puutavaramyyntien järjestäjänä noin 20 vuoden ajan sekä Viipurin maalaiskunnan asutusneuvojana 8 vuoden ajan. Pyy oli vangittuna poliittisista syistä Suomen sisällissodan jälkeen 1918. Pyy sai taloustirehtöörin arvon 1951.
Pyy oli Viipurin maalaiskunnan kunnanvaltuuston ja kunnallislautakunnan jäsenenä ja kuului muun muassa Karjalan liiton liittohallitukseen ja Suomen pienviljelijäin liiton hallitukseen.
Pyyn vanhemmat olivat muonamies Johan Pyy ja Marja Kurri. Juho Pyy oli naimisissa kaksi kertaa: