Pierre-Antoine-Noël Bruno Daru (1767-1829), ministre d'Etat