از روزگاری که فتحعلی‌شاه قاجار در اوایل سلطنت‌اش کاخ قصر را بنا کرد تا به امروز بیش از 2 قرن می‌گذرد. داستان قصر قجر در این 200 و اندی سال داستانی جالب و عبرت آموز است. سه دوره تاریخی بر مجموعه زندان قصر امروزی گذشته، زندانی که حالا تبدیل به باغ موزه شده است و شاید بتوان گفت که بالاخره پایانی شکوهمند یافته است.
فتحعلی شاه قاجار در اوایل سلطنت خود فرمان داد تا بیرون از تهران قصری برایش بسازند. محل قصر در جایی انتخاب شد که در آن روزگار خرم‌آباد نام داشت. اوژن فلاندن، قصر قاجار را چنین توصیف کرده است: فتحعلی شاه قصری جهت تابستانش برپا کرده است که نامش قصر قاجار است. سطح این قصر، بزرگ و قابل توصیف است. باغاتی برای آمفی تئاتر و چندین مهتابی دارد که با پلکان‌هایی متعدد، قصر را از پارک جدا می‌سازد. منازل قصر قاجار آینه و نقاشی‌های بسیار دارد. دوره ناصرالدین شاه، قصر قاجار با کم توجهی روبه‌رو شد و اردوی سالانه فوج قزاق در محل قصر برپا شد و در دوره مظفرالدین شاه باغ قصر قاجار و باغشاه به‌دست اداره ژاندارمری افتاد. این قصر در سال 1284هجری شمسی بر اثر بارش شدید باران و وقوع سیل تخریب شد.
زندان قصر اولین زندان تهران بود که ساختمانش را قاجاری ها ساخته بودند اما رضاشاه پهلوی بعد از آن که بگیر و ببندهایش تعداد زندانیان را بالا برد، تصمیم گرفت از آن به عنوان زندان استفاده کند. قبل از آن، تا وقتی سوئدی‌ها بر نظمیه تهران ریاست می کردند، زندان نظمیه تنها زندان شهر بود. زندانی با دو سه اتاقک کوچک به نام حبس نمره، چند اتاق و یک زیرزمین برای زندانیان عمومی.
سرتیپ درگاهی که آن زمان رئیس نظمیه بود، درخواست یک زندان بزرگ را در تهران داد و قصر قاجار که ساختمان های قدیمی و بزرگ و متروکی در آن وجود داشت، به عنوان اولین زندان بزرگ شهر در نظر گرفته شد. این قصر قاجاری، در سال 1168شمسی ساخته شده بود و حد فاصل سه راه زندان، پل سیدخندان، خیابان شریعتی و خیابان پلیس فعلی قرار داشت. رضا شاه زندان جدید شهر را در آذرماه سال 1308 افتتاح کرد تا 800 زندانی به 192 اتاق آن منتقل شوند. تا دهه چهل که زندان اوین ساخته شود، زندان قصر توسعه زیادی پیدا کرد و چهره های مشهوری در آن زندانی شدند.
اولین زندانی زندان قصر، سازنده آن یعنی سرتیپ درگاهی بود که دو روز بعد از همراهی رضا شاه در مراسم افتتاح زندان، در همان زندان حبس شد. مجله خواندنیها در مردادماه سال 1328 ماجرای حبس او را اینطور نوشته بود: �هنگامی که سرتیپ درگاهی ساختمان زندان قصر را به پایان رسانید از شاه تقاضا کرد که از محل زندان جدید بازدید کند. شب آن روز شاه خواب دیده بود که در مسیرش چاهی حفر کرده و سر آن را پوشانده‌اند و وقتی که نزدیک چاه می‌رسد دورخیزی کرده از روی آن می‌پرد. البته شاه به خواب معتقد نبود ولی هرگز نمی‌توان انکار کرد که در خواب تأثیر و راز عجیبی نهفته است... شاه آن روز خسته و عصبانی به نظر می‌رسید، تیمورتاش پشت سر شاه یک قدم عقب‌تر بود و عده‌ای از رجال و معاریف و سران سپاه نیز همراه شاه بودند. سرتیپ درگاهی هم پیاپی درباره ساختمان‌های جدید توضیح می‌داد، اطاقها و کریدورها و سلولها یکی پس از دیگری بازدید شد.
سرتیپ درگاهی دویده در بندر آهنین را باز کرد، تا اینکه خواست شاه پا در درون دربند آهنین زندان بگذارد، یک مرتبه تیمورتاش که موقعی مناسب‌تر از آن نمی‌دانست به شاه نزدیک شده آهسته گفت: این سرتیپ درگاهی مورد اعتماد نیست. این مرد ممکن است که جنایت کند. هم‌اکنون که اعلیحضرت و معاریف و سران سپاه وارد این بند می‌شوند اگر درگاهی با یک حرکت سریع در دربند را ببندد چه خواهد شد و چگونه ممکن است این در را باز کرد... اساساً اصراری که برای ورود به درون دربند دارد خود بهترین دلیل این است که خیالی در مغز خود پرورانده است، بنده صلاح نمی‌دانم وارد دربند شوید. گویا شاه به یاد خواب دیشب افتاده یک باره پا را کشیده و از نزدیکی دربند دور شد... در این هنگام شاه نگاهی به درگاهی کرد. نگاه خشمگین و نگاه تیمورتاش مظفرانه بود.
نکته جالب توجه اینجاست که رنگ چهره درگاهی نیز پریده بود...�
به جز درگاهی که چندماه بعد آزاد شد و ریاست اداره نظام وظیفه را به عهده گرفت، قوام‌السلطنه، صارم‌الدوله، صولت‌الدوله، عبدالحسین تیمورتاش، بزرگ علوی و علیمردان خان بختیاری از زندانیان معروف این زندان هستند. حتی در دوره پهلوی و بعد از کودتای 28 مرداد سال 32 عزت الله انتظامی و احمد شاملو هم به دلیل فعالیت های هنری و فرهنگی شان دستگیر و به زندان قصر فرستاده شدند.
طراحی زندان توسط نیکلای مارکوف صورت گرفت. او از معماران مطرح ایران در دو دهه اول قرن چهاردهم بود. از کارهای مهم وی می‌توان به دارالمعلمین، دبیرستان البرز، کارخانه قند ورامین و غیره اشاره کرد. این زندان که 192اتاق و گنجایش 800 زندانی داشت در محل قصر قاجار ساخته شد. ساختمان زندان سیاسی در دوره پهلوی دوم به بهره‌برداری رسید و به‌تدریج میزبان زندانیان سیاسی مشهور ازجمله بخارایی، نواب صفوی، صفار هرندی، خلیل طهماسبی، آیت الله طالقانی، مرتضی مطهری، اکبرهاشمی رفسنجانی و بسیاری دیگر بود.
زندان قصر نخستین زندانی بود که در جریان شکل‌گیری انقلاب اسلامی به‌دست انقلابیون افتاد. زندانی که تا آن روز چهره‌های دینی و سیاسی زیادی در آن به‌سختی روزگار سپری کرده بودند، به دست مردم افتاد و آزادی زندانیان قصر تبدیل به یکی از خاطرات خوش انقلاب اسلامی در زمستان سال 57 شد. پس از پیروزی انقلاب اسلامی تعدادی از جنایتکاران رژیم ستمشاهی که خود از زندانبانان قصر محسوب می‌شدند زندانی قصر شدند.
زندان قصر در سال 1386تحویل شرکت توسعه فضاهای فرهنگی شد و در تاریخ 5آذر 86 مصوبه شورای اسلامی شهر تهران با موضوع الزام شهرداری تهران به رعایت شاخصه‌های فرهنگی، اجتماعی و تاریخی در بازسازی زندان قصر، به شهرداری تهران ابلاغ شد. هم‌اکنون پس از گذشت پنج سال باغ موزه قصر آماده بهره‌برداری است. این باغ موزه روایت 214سال از تاریخ پایتختی تهران است.