El Colegio del Arte Mayor de la Seda tiene su origen en el siglo XV, ante la necesidad de unificar los criterios para la producción de la seda en Valencia dados los conflictos que se originaban por la falta de calidad de algunos productores. Es así como nació el "Gremi de Velluters" (tejedores de terciopelo), que aprobó el 16 de febrero de 1479 las primeras ordenanzas del gremio. Unas ordenanzas que fueron ratificadas oficialmente por el rey Fernando el Católico el 13 de octubre de 1479. El Gremio fue elevado a Colegio del Arte Mayor de la Seda por medio del título que les otorgó el rey Carlos II en 1686.
A lo largo de la historia el Colegio del Arte Mayor de la Seda ha sufrido transformaciones en el edificio. La protección del Colegio, se rige por dos principales leyes, la Ley de Patrimonio Histórico Español 16/1985 y la Ley 4/1988, de 11 de Junio, del Patrimonio Cultural de la Comunidad Valenciana, modificada por la Ley 7/2004, Ley 5/2007y Ley 9/2017, de 7 de abril.
La última rehabilitación que ha sufrido el Colegio, y una de las más importantes en los últimos años fue llevada a cabo por el Arquitecto Fernando Aranda Navarro, y subvencionada por la Fundación Hortensia Herrero que impulsa la actividad del mecenazgo cultural en la Comunitat Valenciana. El Colegio del Arte Mayor de la Seda es hoy en día un punto turístico clave, mediante una puesta en valor y una serie de actividades las cuales fomenten sus visitas, por poner una cifra encima de la mesa desde 2016, en tan sólo cuatro años 198.000 personas han visitado el Museo.