Luís Gonzaga Pinto da Gama nasceu em 1830, em Salvador, filho de mãe africana livre e pai branco de origem portuguesa. Quando o menino tinha quatro anos, sua mãe, Luísa, teria participado revolta dos Malês, na Bahia, pelo fim da escravidão.