Il Castello di Gaifa era in una bellissima posizione alla metà del monte della Cesana, dominante la stupenda vallata del Fiume Metauro.
Era uno dei castelli più grandi da cui si prospettava tutta la vallata di Gaifa fino al Molino del Piano, la vallata del Piano del Barco fino a S. Martino dei Muri (Furlo).
Il Castello era coronato dalla Torre (o Fortezza) con la Campana, (poi nella Torre di Primicilio), e dall’unito Palazzo dei Conti.
Probabilmente nel Castello non vi era la Chiesa.
Nell’archivio parrocchiale dei Valli si trova che il Castello di Gaifa usava della chiesa di San Bartolomeo. In seguito anche S. Cristoforo dei Valli divenne chiesa succursale di Gaifa.
Il Palazzo dei Conti, di cui rimane la muraglia, aveva la direzione da nord est a sud ovest e nella parte sud ovest era la Torre di fortezza.
E’ questo un modo di costruzione di quasi tutti i Castelli di quell’epoca, di avere cioè la Fortezza principale dalla parte opposta alla Porta di ingresso.
I dintorni di questo Castello, specialmente nella corte di San Cristoforo dovevano essere molto abitati, si trovano molti ruderi e si scoprono pavimenti di pregio.
(Battelli convisitatore Ms. 1909. Visita Pastorale).