История существования исправительных заведений в Козьмодемьянске так же стара, как и сам этот волжский город.
Сохранилась отписка казанского воеводы А.Голицина об отголосках восстания под руководством Степана Разина: «…А тюремных сидельцев всех из тюрьмы выпустили и из Козьмодемьянска послали их для воровства и наговора на Ветлугу, чтобы с ними заодно козьмодемьянцы заодно в воровстве были».
Известно, что в 1758 году в Козьмодемьянске полыхал страшный пожар, в ходе которого сгорел не только воеводский двор, но и здание тюрьмы. На том же месте, где ныне находится изолятор, тюрьма (тогда она называлась «гражданским казематом») отмечена на городском плане 1847 года. В 1892 году в тюремном замке был устроен храм Нерукотворного Спаса. Причем, в дни церковных праздников в храм допускались обычные горожане. Во время службы они стояли в одной стороне церкви, а заключенные – с другой. Известно, что в 1901 году здание тюрьмы, согласно отчету инспекторов, находилось в плохом состоянии, но хозяйство и двор были в порядке. В пяти камерах содержалось 24 осужденных, 2 подследственных и 6 пересыльных арестантов, в том числе 8 женщин, а персонал состоял из начальника и 6 надзирателей. Заключенные в основном занимались пилкой и колкой дров для жителей города.
В 1964 году учреждение подверглось очередному переименованию, став «следственным изолятором № 2». В 60-е годы в камеры проведено паровое отопление (до той поры оно было печным), организована библиотека. В 80-е годы построен новый режимный корпус, котельная.
В подразделении сделан упор на спортивное воспитание сотрудников, команды СИЗО-2 по различным видам спорта неоднократно становились победителями и призерами не только козьмодемьянских городских соревнований, но и республиканских ведомственных чемпионатов.