Spinoza vestigde zich in 1661 in Rijnsburg. Dit dorp was toentertijd bekend als een ontmoetingsplaats voor Collegianten, een vrijzinnige Protestantse stroming, waaronder Spinoza vrienden had. In de woning van de chirurgijn Herman Homan had hij als kostganger een kleine kamer, waar hij lenzen voor optische instrumenten sleep en waar hij zijn overpeinzingen met de ganzenpen neerschreef. In 1663 verhuisde hij naar Voorburg en later naar den Haag waar hij in 1677 overleed.
De Vereniging Het Spinozahuis kocht het huis in 1897 en richtte het in als museum. Tot 2001 bestond het museumgedeelte uit twee kamers. Na een ingrijpende restauratie werd het hele huis, als modern museum ingericht.