Après des études théologiques à Bâle, Strasbourg et Montauban, il est le premier pasteur en titre de la paroisse protestante de Libourne (Gironde) de 1859 à 1877. Il évolue vers un libéralisme extrême, exprimé à travers de nombreux articles et conférences. Sollicité par Ferdinand Buisson en 1869 pour l'Église libre et libérale que celui-ci veut créer à Neuchâtel en Suisse, il abandonne pour raison de santé, mais il se consacre à la diffusion des idées démocratiques et républicaines. Refusant toute orthodoxie religieuse, il donne en 1877 sa démission de pasteur.

Après la création en 1870 d'un journal républicain dans son canton de Libourne (où il prend parti contre le plébiscite et pour la République), il est élu député de la Gironde en 1881 et en 1885. Il participera activement à la mise en place de l'école républicaine, laïque, publique, gratuite et obligatoire, dans le cadre du cabinet de Jules Ferry, où il retrouve ses amis protestants Félix Pécaut et Ferdinand Buisson. Il est rapporteur de la proposition de loi sur l'abrogation du Concordat et de la loi de Jules Ferry sur la laïcité de l'enseignement.

A partir de 1889, il est nommé Inspecteur général de l'enseignement primaire et chargé de la direction du Musée pédagogique à Paris. Il termine sa carrière en succédant à son ami Ferdinand Buisson comme Inspecteur des études de l'École Normale Supérieure de Fontenay aux Roses.

Son fils Théodore, qui fut Président du Conseil des Ministres, écrivait en 1937 : «  Je rougis presque des succès de ma carrière politique en pensant que c'est à mon père qu'ils auraient dû aller, à lui qui m'était supérieur par l'intelligence, le courage et le talent ».