La rue des Granges a été créée entre 1718 et 1719 comme l’épine dorsale d’un nouveau lotissement qui bouleverse la topographie et le visage de la haute ville. C’est sur ce site, appelé la Chauvinière, et qualifié de « plus beau côté de la Ville », que l’État, de concert avec quelques riches particuliers, lance en 1717 la plus prestigieuse opération immobilière du XVIIIe siècle.
Il en résulte un ensemble homogène de trois hôtels particuliers, les n° 2-4-6 rue des Granges, et une rangée de quatre immeubles, côté impair. Le plan de lotissement de 1718 prévoyait un quatrième hôtel au n°8, lequel n'est finalement construit qu'en 1745-48.
La construction des trois hôtels est une véritable « affaire de famille » entre Jean Sellon (constructeur du n°2), et ses deux beaux-frères : Gaspard et Pierre Boissier, ce dernier étant propriétaire du n°4. Les trois hommes sont originaires du Languedoc, ils appartiennent à la bourgeoisie issue du second Refuge et sont liés au milieu du négoce et de la banque.
Les façades des hôtels sont dessinées par l'architecte Jean-Jacques Dufour (1655-1719), un Genevois très certainement formé en France. C'est lui aussi qui est pressenti pour diriger l'ouvrage, mais en raison de son décès, un autre maître d'œuvre non identifié supervise les travaux conduits par une équipe de six entrepreneurs. L'implantation privilégiée de ces hôtels nécessite de considérables travaux de terrassement.
L'ensemble est achevé en 1723. Les édifices adoptent le plan parisien « entre cour et jardin », en vogue à Genève depuis la fin du XVIIe siècle. Ils comportent un logis central et deux ailes en retour d'équerre, reliées entre elles par un mur de clôture percé d'une porte-cochère. La composition des façades, formée de trois séquences tripartites, est strictement symétrique. Celles donnant sur la place Neuve sont traitées en ordre colossal de pilastres ioniques surmontés de frontons armoriés; elles sont l'image emblématique de la Genève patricienne de l'Ancien Régime.
À l'instar des hôtels urbains de l'époque classique, l'ordonnance extérieure reflète la disposition intérieure des pièces, en particulier l'emplacement du grand salon signifié par l'avant-corps à fronton.
Si la famille Boissier a gardé l'hôtel au n°6, ses descendants ont vendu le n°4 à Denis Dominicé en 1839. La famille Dominicé est en toujours propriétaire.