Дом князей Голицыных является одним из старейших каменных зданий в Козлове. Его владельцами были известные музыканты первой половины-середины XIX века — Николай Борисович и его сын Юрий Николаевич Голицыны.
Дом был построен в 1823 году. В архитектуре здания присутствуют элементы классицизма — господствующего стиля в русской архитектуре в первой трети XIX века — колонны и фронтон над ними. Однако, это вовсе не означает что дом следует отнести к этому стилю. В нем слишком много противоречащих друг другу деталей, что говорит об эклектичности всей постройки. В дореволюционное время дом находился на торговой площади, которую в ХХ веке застроили и создали новую улицу.
Князья постоянно не жили в Козлове, а бывали наездами, скорее всего по делам, так как у них имелись имения в Тамбовской губернии. Самым ярким периодом в истории дома является время пребывания в нем Юрия Николаевича Голицына. Князь был отправлен в ссылку в уездный Козлов, так как передал Александру Ивановичу Герцену некоторые секретные документы, которые тот предал гласности за границей. Юрий Николаевич, обладавший достаточно буйным нравом, запомнился своим современникам различными чудачествами. В козловскую ссылку он взял с собой троих музыкантов. В одиночестве либо вместе с ними он играл классическую музыку с балкона своего дома перед рынком. Запомнился он горожанам и другими «чудачествами», последним из которых стал его побег из козловской ссылки. Князь приказал строить ледяную горку в Козлове, а сам, с разрешения губернатора, отъехал в Тамбов, оставив строгое указание написать ему об окончании строительства. Однако в город он больше не вернулся, так как бежал в Великобританию.
Голицыны продали дом в 1870-е годы. После революции в здании располагались различные организации. В середине ХХ века в нем размещался детприемник, позднее детский сад. Из-за того что организации, находившиеся в доме, постоянно менялись, он периодически претерпевал перепланировку, поэтому на сегодняшний день она не полностью соответствует той, что была в доме при князьях. Долгое время здание продолжало эксплуатироваться без должного ремонта и ветшало. Из-за этого его прекратили использовать, и оно пустовало, продолжая разрушаться.
В 1987 году было принято решение о восстановлении дома, представляющего собой ценность с исторической точки зрения, и организации в нем Литературно-музыкального музея, который начал свою работу в 1995 году.
