Der Arbeitskreis Literaturhaus wurde 2008 zur Eröffnung des Hauses vom damaligen Stadtrat und Kulturreferenten Harald Dreher gegründet und plante zusammen mit der Stadtverwaltung das jeweilige jährliche Programm.
2014 konzipierte der Arbeitskreis zum ersten Mal ein durchgängiges Jahresthema: „Literatur aus dem alemannischen Sprachraum“. Dieses Projekt wurde vom Landkreis Oberallgäu, vom Bezirk Schwaben und vom Bayerischen Staatsministerium für Bildung und Kultur, Wissenschaft und Kunst großzügig gefördert.