Dans la « basilique » qu'il était en train d'édifier, Chateaubriand souhaitait dédier une « chapelle » à Madame Récamier. Une fois le livre achevé, en 1839, celle-ci en reçut une copie tandis que Pilorge en établissait une autre, destinée à être insérée dans la troisième partie des Mémoires. Quand il brûla ses brouillons en 1840, l'écrivain sauva une soixantaine de feuillets provenant de rédactions antérieures du livre et portant de nombreuses corrections autographes, qu'il offrit à son amie. Cependant, devant les réticences croissantes de celle-ci, Chateaubriand supprima, à la relecture de 1846, dix-neuf des vingt-trois chapitres qu'il lui consacrait et rattacha les quatre autres au livre XXVIII. Le manuscrit sacrifié rejoignit la copie de 1839, accompagnée des brouillons, et l'ensemble fut relié plus tard en un volume par la nièce et héritière de Madame Récamier, Amélie Lenormant.