دژ در زمان ساسانیان ساخته شده ولی نام خود را از بابک خرمیدن رهبر مبارزان با خلفای عرب در سال ۸۹۳ میلادی گرفته است.
دژ بابک، بنا شده در بالای کوهی به بلندای ٢۶۰۰ متر، درنزدیکی شهر کلیبر واقع شده است.
بابک خرمدین یکی از سرداران ایرانی از آذربایجان بود که بر ضد ظلم خلفای عباسی به پا خاست. وی طی بیست و دو سال، رهبری جنبش سرخ‌جامگان را به عهده داشت. در همان عصر مازیار از مازندران، ابومسلم خراسانی و یعقوب لیث از خراسان و سیستان نیز از دیگر سرداران ایرانی بودند که بر علیه ستم خلفای عباسی دست به قیام زدند.
اینجا دژی دو طبقه بوده است. قبل از اینکه به دروازه قلعه برسید باید از راهی بگذرید که به صورت یک دالان باریک ٢۰۰ متری جلوی رویتان سبز می شود! این راهرو، جایی بوده که در گذشته نگهبانان به طور دقیق آن را زیر نظر می گرفتند تا عبور و مروری خارج از برنامه از آن صورت نگیرد.
بعد از صعود از این راهرو، ورودی دیگری با پلکان هایی تقریبا نامنظم وجود دارد که شما را به قلعه می رساند. پس از آن تالار اصلی است که اطراف آن هفت اطاق دیده می شود. این اطاق ها همگی به تالار مرکزی می رسند.
