Na Dziewiczej Górze lub w jej pobliżu miał istnieć też klasztor, a – według innych wersji – zamek. Klasztor miał być związany z cysterkami owińskimi, do których należały te tereny. Legenda głosi, że część zakonnic została zesłana do samotni na szczycie góry, aby odpokutować za swoje grzechy. Podobno nie okazały jednak wystarczającej skruchy, za co zostały zabrane przez złe moce, a sam klasztor się zapadł. Mówi się też, że Dziewicza Góra była miejscem, gdzie siostry zbierały czerwca polskiego – owada, z którego wytwarzano czerwony barwnik.

Według relacji spisanych przez Zofię Poznańską w pobliżu Dziewiczej Góry były przejścia podziemne, które pięły się ku górze. Mieszkanka Kicina, urodzona pod koniec XIX wieku, wspominała, że:

Na Dziewiczej Górze dworek myśliwski przebudował von Treskow. Dawniej było mieszkanie Cysterek. Przy łąkach na prawo od dworku na wzgórzu nad łąkami był urządzony piękny ogród, pod górką w lesie w kierunku Czerwonaka jest zapadlisko z gankami.

Z kolei inny mieszkaniec twierdził, że:

W okolicach Dziewiczej Góry w XVII wieku znajdował się zamek, który zajmowała pewna grupa sióstr Cysterek pod przewodnictwem przełożonej matki Anny. Od tego imienia Dziewicza Góra nazywała się przez pewien czas Górą Anny. Zamek ten się zapadł. W miejscu gdzie stał są jeszcze widoczne pewne ślady jego istnienia.

Niestety, nie ma potwierdzonych źródeł wskazujących na zamieszkiwanie okolic Dziewiczej Góry przez cysterki. Nie udało się dotrzeć do wzmianki o samotni, do której siostry miały być odsyłane za łamanie zakazów zakonnych. Jak podają Olga Krause-Matelska i Wojciech Matelski, w XV wieku w klasztorze doszło wprawdzie do rozluźnienia reguły, w związku z czym interweniowały wyższe władze zgromadzenia. Ustawa kapituły generalnej zakonu nakazała siostrom naprawę sytuacji. Nie podjęto jednak żadnych kroków mających na celu odizolowanie nieposłusznych zakonnic.

Trudno też znaleźć informacje o zbiorach czerwca polskiego, które miały się tu odbywać. Pewną wskazówką może być obecność na Dziewiczej Górze czerwca trwałego – rośliny, na której rozwijają się te owady. Czerwonak miał być jednym z miejsc, z którego dostarczano barwnik w czasach jego największej eksploatacji. Brakuje jednak danych na temat roli klasztoru w tym zakresie. Nie da się więc też stwierdzić, czy w okolicach góry istniały jakieś zabudowania gospodarcze związane ze zbiorami czerwca czy wytwarzaniem barwnika.