Дом построен на набережной реки Оки в 1844 году, местным архитектором Ганиным. Его архитектурное решение в стиле ампир характерно для многих строений города Касимова начала 19 века. Изначально дом предназначался промышленнику Шемякину, позже, в 1900 году владельцем дома стал торговец каракулем Мухамет Кастров. Вот почему в настоящее время дом известен под двойным названием. Это двухэтажный каменный особняк с мезонином и антресолями. Цокольный этаж украшен ложными арками. Четырехколонный портик украшен фронтоном с трехчастным, полукруглым окном. Строение расположено внутри двора. С улицы дом огорожен высокой каменной оградой с полуколоннами. Со стороны набережной установлены массивные каменные ворота. Полуколонны столбов увенчаны скульптурами в виде ваз.