Situé sur les hauteurs de l'île de Gamis, le pénitencier a été construit en l'an 13 par le Général Custer.
Il comportait alors une seule cellule.
Le bâtiment principal est encore aujourd'hui utilisé.
Sous l'impulsion du septième (et actuel) Baron, deux extensions de 12 et 18 cellules ont été construites de part et d'autre du bâtiment d'origine pour étendre la capacité du pénitencier, qui peut donc actuellement contenir 31 détenus.
Pour gérer le pénitencier, un bâtiment annexe a été construit, la tour administrative, qui contient les bureaux du personnel du pénitencier.
Seule la tour est ouverte pour des visites pédagogiques (groupes scolaires, étudiants, ...).
