El edificio está ubicado en una zona de la ciudad donde ya existían construcciones en el S. XIV. De esta primera época quedan pocos vestigios: el pozo situado en el centro del invernadero S. XIV, y los muros de los sótanos de los S. XVI y XVII.
Hay documentos datados del 1810 donde consta que el actual edificio ya estaba construido: formado por una planta baja con patio y tres plantas superiores. Era propiedad de la familia de Ignasi Asols. 

En el año 1868, su propietario decidió dividirla en dos casas. El proyecto se encargó al arquitecto Pere Pascual i Baguer, que aprovechando las obras de reforma, se creó una nueva fachada siguiendo la actual alineación de la calle, de esta manera se ganaron unos 18 m² de superficie del terreno. La actual fachada, pues, data del año 1868. Los nuevos propietarios pasaron a ser el Sr. Francesc Daltavuit (actual número 48) y el Sr. Josep Roura (actual número 50). Posteriormente Josep Roura compro el edificio de la parte de detrás y lo derribó para acondicionarlo, creando un pequeño jardín.

El señor Josep Vilaret i Xatart compró el día 1 de julio del año 1897 las dos casas, con la finalidad de acondicionarlas y volver a formar una sola para ir vivir, después de casarse con la "pubilla de Can Barris” de Palafrugell. Los Sres. Vilaret fueron los antiguos propietarios de la compañía de la luz de Sant Feliu de Guíxols antes de que fuera adquirida por Fecsa.
    
Els Srs. Vilaret van ésser els antics propietaris de la companyia de la llum de Sant Feliu de Guíxols abans de que fos comprada per la Fecsa. També tenien propietats sureres.
El Sr.Vilaret va dotar la casa amb els actuals artesonats i pintures dels sostres, així com dels mosaics de gres tan espectaculars que es mantenen en perfecte estat. Van ésser incorporades noves llars de foc a la primera i segona planta, mentre que el tercer pis va quedar destinat al servei. Malauradament en fer aquestes reformes van quedar destruïdes les antigues i petites cambres que donaven a la façana principal (que estaven decorades amb pintures de l’època) i que es van substituir per les esplèndides cambres actuals amb pintures al sostre i els magnífics mosaics de gres. 

El Sr.Vilaret fue quién mandó decorar la casa con los actuales artesonados y pinturas de los techos, así como de los mosaicos de gres tan espectaculares, que se mantienen en perfecto estado. Fueron incorporadas nuevas chimeneas en la primera y segunda planta, mientras que el tercer piso quedó destinado al servicio. Desgraciadamente al hacer estas reformas quedaron destruidas las antiguas y pequeñas habitaciones que daban a la fachada principal (que estaban decoradas con pinturas de la época) y que se substituyeron por las espléndidas cámaras actuales con pinturas en el techo y los magníficos mosaicos de gres.

    
Fue hacia finales del año 1998 cuando a Tomàs Pla (coleccionista de juguetes) le surgió la idea de crear un Museo del juguete, aprovechando la casa que tiene en la Rambla Vidal, 46. Al iniciar el proyecto se detectó que aun teniendo la casa 4 plantas quedaba muy pequeña para un museo, y el proyecto no llegó ha ejecutarse. Al final del año 1999 surgió la oportunidad de poder adquirir el edificio contiguo número 48 y 50.

Los primeros días del año 2000 fueron decisivos para llegar a un acuerdo: por un lado con los descendientes del Sr.Vilaret y por el otro con el Ayuntamiento que havia declarado la fachada de la casa como patrimonio arquitectónico y havia prohibido realizar obras en el edificio con el fin de preservarlo de un derribo para construir pisos. Tras las negociaciones con las dos partes se procedió a la compra del edificio por parte del Sr. Tomàs Pla con el fin de adaptarlo y acondicionarlo como museo, siguiendo una rigurosa restauración de todos sus elementos arquitectónicos.

El día 11 de agosto del año 2000 se inauguró el "Museu d'Història de la Joguina" (col·lecció Tomàs Pla), fue presidido por el alcalde y asistieron más de 500 invitados. Al día siguiente se hizo una jornada de puertas abiertas por lo que pasaron más de 2000 personas.

Actualmente ya se ha realizado el proyecto de ampliación, que constará con una nueva sala en el primer piso, otra en el segundo y dos más en el tercero. Éstas se abrirán al publico a medida que les obras de acondicionamiento lo permitan.