Seit 1879 gibt es Deutschlands ältestes und größtes Panoptikum und seit 1889 befindet es sich am Spielbudenplatz 3 in dem Gebäude der sogenannten Wilhelmshalle. 1943 wird das Gebäude im 2. Weltkrieg zerstört. 1948 eröffnet das Panoptikum wieder in provisorisch hergerichteten Räumen in einem Teil der Wilhelmshalle.

1959/1961 wurde das heutige Gebäude nach den Entwürfen von Heinz Hermann Faerber, dem Enkel des Panoptikum Gründers, errichtet.