Haute-Isle est célèbre pour ses habitats troglodytiques creusés dans la roche crayeuse des falaises qui dominent la Seine. Les vestiges les plus anciens remontent aux VIIIe-IXe siècles. Dissimulé dans le sol, un vase en céramique a livré des monnaies frappées sous les rois Louis le Pieux (814-840), Charles le Chauve (843-877) et Eudes (887-898).
Au-dessus de l’église le coteau présente trois niveaux d’anciennes cavernes ou boves. Passionné d’archéologie, le docteur Gaudichard (1879-1955) se rendit propriétaire de ces terrains dans les années 1930. Il y fit aménager des salles qu’il occupa temporairement, et leur donna des noms plus ou moins fantaisistes comme la salle dite du « Chef normand ». Rien n’atteste cependant que celle appelée «La Chapelle» ait été le premier lieu de culte du village. La partie supérieure de la falaise est occupée par un pigeonnier. On peut apercevoir les niches à pigeons depuis la route. Jusque dans les années 1930, les terres ont été cultivées autour des boves qui servaient de relais pour les chevaux et le matériel agricole.