Nicolas Brimo s’installe comme antiquaire à Paris en 1908 et s’associe rapidement à son beau-frère Lucien Lascombes de Laroussilhe pour fonder Brimo de Laroussilhe.
La galerie est alors ouverte à de nombreux domaines, tels que l’archéologie, l’art primitif, le mobilier du XVII^e siècle ou encore l’art islamique, mais le Moyen Âge constitue déjà la grande spécialité de la maison comme en attestent les nombreux objets précieux médiévaux, passé par la galerie et aujourd’hui conservés dans les plus grands musées du monde.
En 1991, Brimo de Laroussilhe est repris par Philippe Carlier qui fait le choix de se concentrer uniquement sur les arts du Moyen Âge et de la Renaissance, spécialités historiques de la maison.
Il est rejoint en 2002 par sa fille Marie-Amélie Carlier qui depuis 2010 a repris la direction de la galerie.