Né à Nîmes, fils d'Antoine Chabaud-Latour, député du Gard, il est, après ses études à l'École polytechnique, officier du génie. Il participe à diverses campagnes, notamment en Algérie, et sera officier d'ordonnance du duc d'Orléans. Élu député du Gard de 1837 à 1848, il retrouve ensuite l'armée où, promu général en 1853, il participe au comité des fortifications de Paris en 1870. Il dirigera les services du génie durant le siège de Paris. À nouveau député du Gard en 1871, il siège au centre droit, et sera ministre de l'intérieur de juillet 1874 à mars 1875 dans le second cabinet de l'Ordre moral, avec à ses côtés, comme sous-secrétaire d'État le gendre de Guizot, Cornélis de Witt. Bien des protestants ont reproché à cet homme très conservateur de se montrer clérical. Il n'a pas hésité, en tout cas, à approuver des mesures restreignant la publicité des enterrements civils et même la liberté d'évangélisation.

Il fit partie d'un groupe de laïcs évangéliques très influents dans la direction de l'Église réformée de Paris. En 1859, le gouvernement le nomme membre du Conseil central des Églises réformées, où il défend les positions des évangéliques : il sera très actif dans les différents organismes que ces derniers organisent pour lutter contre les libéraux. Il est choisi comme président de la Société fraternelle pour l'évangélisation paroissiale au seins de l'Église réformée de Paris en 1866. Et en 1868, il succède à F. Delessert à la tête de la Société biblique de France que les évangéliques ont établie en 1864 après la scission intervenue au sein de la Société biblique protestante de Paris. En 1872, il siège au Synode général de l'Église réformée comme délégué laïc de l'Église de Paris.