Początki murowanej strażnicy w Bydlinie ze względu na niedostępność źródeł giną w mrokach dziejów, nie można więc dziś jednoznacznie określić, z czyjej inicjatywy ją zbudowano i kiedy to nastąpiło. Najstarszy znany nam dokument wzmiankujący castrum w Bydlinie pochodzi z 1398 roku - w tym czasie stanowi ono ważne ogniwo w systemie obronnym na pograniczu polsko-śląskim. Jego właścicielami są Pełka i Niemierza, spadkobiercy królewskiego posła Niemierzy z Gołczy (zm. 1351), który w literaturze czasami przedstawiany jest jako fundator warowni. Wspomniani Pełka i Niemierza to oficjalnie synowie Niemierzy z Gołczy, jednak w opinii niektórych historyków ich biologicznym ojcem jest Kazimierz Wielki, król Polski, a zarazem wieloletni kochanek żony swojego posła noszącej sugestywne imię Cudka. Wlatach 1398-1400 pretensje do zamku zgłaszają Klemens Łowczyc i jego stryj Zbigniew z Łapanowa, tytularny biskup laodycejski. W drugiej połowie XV stulecia Bydlin przechodzi w ręce rodu Szczepanowskich, później jego dziedzicami są Brzeziccy i wreszcie Bonarowie, którzy na początku XVI wieku przebudowują warownię na kościół. W 1546 roku Zofia Bonar przekazuje wieś jako wiano małżeńskie Janowi Firlejowi herbu Lewart (zm. 1574), posłowi królewskiemu, a ten - jak przystoi na żarliwego luteranina, a później kalwinistę - przekształca katolicką świątynię w zbór protestancki. Już jednak w roku 1594 jego syn Mikołaj (zm. 1601) zwraca budowlę katolikom nie szczędząc przy tym środków na jej renowację i przebudowę. Prowadzone wówczas prace obejmują między innymi rozbiórkę muru obwodowego z wieżą bramną, zamurowanie części okien i wybicie nowych, a także zmianę układu i wystroju wnętrz. Nowy kościół otrzymuje nazwę Świętego Krzyża. W 1655 stojący na wzgórzu zamkowym kościółek najeżdżają, rabują i palą wojska należące do oddziałów szwedzkiego generała Burcharda von den Lühnen. I choć z inicjatywy Męcińskich w latach 30. XVIII wieku zostaje on odbudowany, to częste później napady rabunkowe, zaniedbania i pożary sprawiają, że pod koniec stulecia jest on już opuszczony i popada w ruinę. Elementem dominującym w bryle zamku był trzykondygnacyjny budynek typu wieżowego murowany na planie prostokąta o bokach 11x24 m. Gmach ten posiada narożne przypory spajające masywne mury o imponującej grubości sięgającej 2,3 m. Stropy budynku były drewniane, a ściany działowe wzniesiono z drewna i gliny. Wejście do niego prowadziło przez portal usytuowany na wysokości 2,5 m nad poziomem gruntu, do którego dostawiono drewniane schody lub ganek. Oświetlenie wnętrz zapewniały ostrołukowe okna i mniejsze okienka szczelinowe; od strony skarpy prawdopodobnie występowały również otwory strzelnicze, tam też usytuowano wykusz ustępowy. W drugiej fazie budowy, zapewne jeszcze w XIV wieku, do wieży mieszkalnej dostawiono od południa mur obwodowy z wieżą bramną tworząc w ten sposób niewielki dziedziniec. Całość otaczała wykuta w skale fosa oraz kamienno-ziemny wał, ponadto od północy zamek chroniony był przez stromą skarpę i rozległe podmokłe tereny. W ramach przebudowy warowni na kościół w XVI wieku część okien i drzwi zamurowano, a wnętrze budowli podzielono na trzy mniejsze pomieszczenia. W połowie długości muru fasadowego wzniesiono ścianę tworząc w ten sposób osobne prezbiterium i nawę. Od zachodu nawę tą ograniczono murkiem wydzielającym wąską izbę, która pełniła zapewne jakąś funkcję pomocniczą - być może była to kruchta lub kaplica. Wybito również nowe okna od strony dziedzińca. Do czasów współczesnych zachowały się postrzępione fragmenty murów kamienicy zamkowej, ukryte w ziemi fundamenty murów obwodowych i rowy po fosie. W 2009 roku mur południowy budynku mieszkalnego zawalił się, jednak już w 2012 został częściowo odbudowany (p. fotografie poniżej). Towarzyszące odbudowie muru prace objęły również utwierdzenie obluzowanych kamieni, uzupełnienie spoin, usunięcie roślinności porastającej plateau wzgórza oraz remont schodów prowadzących do ruin.