ie znane sa początki zamku woliborskiego. Prawdopodobnie uległ on zniszczeniu w XIV lub na początku XV wieku i został opuszczony. Po koniec XV w. stał się gniazdem rycerzy - rozbójników nękających okolicę Nowej Rudy. Zburzony przez miejscową ludność podczas rozprawy ze zbójami, dotrwał w szczątkach do XIX w., kiedy to zniknęły ostatnie ślady po nim.
powieść ludowa mówi o rozbójnikach, którzy grasowali w okolicy Nowej Rudy pod koniec XV w., jednak nikt nie potrafił zlokalizować ich kryjówki. Tylko Wolibórz pozostawiali w spokoju. Była tam karczma, którą licznie odwiedzała okoliczna ludność. Regularnie przychodzili też do niej nikomu nie znani mężczyźni. Trzymali się w swoim towarzystwie, byli dobrze ubrani i mieli sporo pieniędzy. Chętnie tańczyli z miejscowymi kobietami. Najładniejszej z nich - tancerce Kindze proponowali bogactwo jeśli pójdzie na noc do ich domu, nie mówili jednak gdzie on się znajduje. Przebiegła Kinga domyśliła sie że mogą to być ci poszukiwani rozbójnicy i zawiadomiła starszyznę wsi, która uknuła plan rozprawienia się ze zbójami.
Podczas następnej wizyty w karczmie Kinga zgodziła się pójść z tajemniczymi mężczyznami. Szli długo pod górę a za nimi duża grupa uzbrojonych chłopów. Wreszcie dotarli do starego, podniszczonego już zamku. Chłopi okrążyli warownię i czekali na sygnał od Kingi. Po dłuższym czasie, wyszła ona do okna i głośno rzekła "Jak stąd wszędzie daleko". Słychać było śmiechy i szyderstawa rozbójników jednak był to właśnie sygnał na który czekali chłopi.
Rozbili oni bramę i wtargnęli do zamku. Pijani zbóje zostali całkowicie zaskoczeni. Chłopi wybili ich co do jednego a sam zamek zburzyli.
Nigdy nie odnaleziono skradzionych łupów, które przecież rozbójnicy musieli gdzieś chować. Prawdopodobnie podczas burzenia zamku zasypany został jakiś zamaskowany loch. Legenda mówi że skarb może odnaleźć tylko prawdziwa dziewica w noc Bożego Narodzenia. Powinna wziąć zapaloną świecę i udać się na miejsce zamku. Gdy płomień zacznie chylić się ku ziemi będzie to znak, że właśnie tutaj znajduje się ukryta piwnica a w niej wielkie skarby.
