Die erste Nachrichten kommen aus dem Jahr 1391. Berka von Dubá auf Houska teilte für seine drei ältere Söhne das Eigentum. Für sich und jüngere Söhne ließ er Houska, Chudý Hrádek, Milčany und Frýdlant. Hrádek finden wir über dem Zusammenfluss der Bäche, die durch Felsentäler von den Gemeinden Drchlavy und Dřevčice fliessen. Die Stelle wurde strategisch sehr gut gewählt. Zur Burg konnte man nur vom Süden, und hier war noch ein Burgwall (150 Meter lang und 4 Meter hoch).