Une libertine a rendu cet hôtel particulier célèbre. Dans ses mémoires Rousseau consacre dix pages à cette aventure avec cette séduisante femme plus âgée que lui.