O seu pai, o matemático e teólogo anglicanoHarry Baden-Powell, morreu cando Robert tiña tres anos e este foi educado pola súa nai xunto aos seus sete irmáns. En 1876 entrou no exército británico e foi destinado á India, prestando servizo tamén en África. En 1903 volveu a Inglaterra e escribiu o manual de adestramento militar Aids to Scouting, pero tras coñecer ao fundador da Boys' Brigade, William Alexander Smith decidiu rescribilo para os lectores máis novos e en 1907 estableceu un acampamento na illa de Brownsea para 22 nenos de diversa procedencia social para pór en práctica algunha das súas ideas. En 1908 publicou Scouting for Boys, e espontaneamente nenos e nenas organizaron grupos scout. En 1910 Baden-Powell e a súa irmá Agnes Baden-Powell organizaron as Girls Scout.