L'écrivain local, François Mauduit, cite la présence d'une motte féodale au VIIe siècle. Dans sa chronique sur Ivry publiée en 1899, il fixe la date de 960 pour la construction d'un édifice en pierre. Nous ne connaissons pas ses sources.  Suite aux fouilles archéologiques menées entre 1997 et 2000, aucune date précise n'a pu être arrêté mais il est admit que la construction remonterait avant l'an 1000.

C'est un personnage important dans l'histoire du duché de Normandie mais méconnu. Son père adoptif est Asperleng de Pitres et sa mère Sprota de Senlis, ancienne concubine de  Guillaume Longue Epée, descendant du chef viking Rollon. 

Raoul (Rodulf) a le titre honorifique d’évêque de Bayeux. Il est cité en 990 pour la première fois dans un document diplomatique comme étant le demi frère de Richard sans Peur, 1er duc de Normandie. C'est probablement sur l'instigation de ces deux personnalités que fut édifié un premier ouvrage en pierres, apparenté à un palais, implanté face aux royaumes de France et de Dreux-Chartres.

Au décès de Richard 1er en 996, il prend la gérance du duché et se trouve confronté à deux rebellions : celle des nobles matée en 996, celle des paysans matée en 991.

Il est marié en première noce à Emebergue de Canville (986/1011) et en deuxième noce à Aubrée (ou Alberede)

En 1011, Raoul est mentionné comme "comte d'Ivry" par une charte. Il est à nouveau cité comme l'oncle du nouveau duc de Normandie Richard II.

A partir de 1015 son nom n’apparaît plus. On suppose son décès aux alentours de 1020. Il laisse deux fils, Hugues et Jean ainsi qu'une fille : Emma.

Au décès de Rodulf d'Ivry le château passe aux mains de son fils aîné Hugues de Bayeux, né en 988. Il entre en rébellion contre le duc de Normandie Robert 1er dit le Magnifique. Ayant anticipé le siège du château il entreprend des gros travaux défensifs à partir de 1028. C'est peut être à cette période qu'intervient l'architecte Lanfred cité par F.  Mauduit.   Ce dernier aurait déjà réalisé le château de Pithiviers.                  Le palais est emmotté au niveau du premier étage afin d'occulter les baies du rez de chaussée. Les murs sont alors élevés sur plusieurs mètres.            Hugues porte le titre honorifique d’évêque de Bayeux de 1015 à 1049, date de sa mort. Son fils ainé est Roger d'Ivry, sa fille est Aubrée qui épousera Robert 1er de Bréval.

Emma d'Ivry, sa sœur, épouse Osbern de Crépon, sénéchal de Normandie. C'est lui qui assurera la protection du jeune Guillaume lors des "richardides". Ils donneront naissance à Guillaume qui ouvrira la voie la branche des "Breteuil". A la fin de sa vie, Emma devient abbesse de St Amand de Rouen ou elle décède en 1069.

Jean d'Ivry est le demi frère du précédent. C'est le conseiller de Guillaume 1er le Conquérant. Il assure la gérance du duché en son absence. Il est évêque d'Avranches de 1060 à 1067, puis archevêque de Rouen de 1067 à 1079.

Roger d'Ivry est le fils aîné de Hugues d'Ivry.  Roger d'Ivry est l’échanson de Guillaume le Conquérant et il l'accompagnera lors de l'invasion de l'Angleterre en 1066. Il possédera de nombreuses terres et manoirs dans le centre de l'Angleterre. Son nom reste inscrit dans l'histoire pour avoir fondé l'abbaye Notre Dame d'Ivry en 1071. Roger d'Ivry décède en 1079.

1914, porte de l'abbaye - collection personnelle

Extraits tirés de la collecte historique de Isabelle Le Cain (DRAC de Rouen)

1091, le troisième fils du Conquérant, Guillaume le Roux, bloque le château en contrebas et les accès au village. Le capitaine de la place étant favorable à Robert Courteheuse, le fils aîné du Conquérant. La place forte passe alors aux mains de Guillaume de Breteuil.

1092, après plusieurs revendications pour obtenir le château d'Ivry et sa lignée due à sa descendance, Ascelin Goel, seigneur de Bréval et de Guainville, se rend maître du château. Il aura auparavant dévasté la région et brûlé l'abbaye. La forteresse de Guainville dépendait du duché de France, de l'autre coté de la vallée de l'Eure et se situait à 5 km environ d'Ivry. Elle sera détruite vers 1350.

 1094, le duc de Normandie Robert Courteheuse donne le château à Roger de Beaumont puis à nouveau à Guillaume de Breteuil.

 1119, le roi Louis VI le Gros met le siège devant Ivry et incendie le château après sa campagne désastreuse de Breteuil. 

1122, Guillaume LOUVEL, frère d'Ascelin Goel, prend possession du château à la mort de ce dernier.

1177, en septembre, "le castellum" d'Ivry est remis entre les mains de Henri II d'Angleterre au décès de Galeran, flis de Guillaume Louvel.

1180, le 28 juin le roi Philippe Auguste et Henri II d’Angleterre renouvelle le traité d'alliance conclu à Ivry entre Louis VII et Henri II

1188, Henri II d'Angleterre menace Mantes. Philippe Auguste le rejoint à Soindres et le contrait à se retirer à Ivry. 

 1191, Philippe Auguste, profitant de la captivité de Richard Coeur de Lion, s'empare d'Ivry. En 1196 le château est rattaché à la couronne de France.   

1200,   en juillet, promesse est faite par Robert d'Ivry de remettre la forteresse au Roi si besoin.         

 1204, travaux de renforcement concernant très probablement la gaine de défense.

1317 , le roi de France Philippe V Le Long vient d'être couronné (1316-1322) et séjourne au château

1390, le château est aux mains de Charles d'Ivry, chambellan du roi (Charles VI le Fou - 1380 à 1422)

1398, Charles d'Ivry reçoit 4000 francs or pour les revenus des "isles Charcy (Jersey) et Grenisy (Guernesey)

1414, Charles d'Ivry est nommé "conseiller du Roy, maitre et refformateur des eaues du royaume de France" 

1415, Charles d'Ivry et son fils sont tués à la bataille d'Azincourt.

1418, le 19 mai, Pierre Dorgery est le nouveau seigneur du château

1418, en septembre, le connétable Anglais John TALBOT et son artillerie s'emparent de la forteresse après 40 jours de siège.

1427, le 12 juillet, Henri VI d'Angleterre donne "comté, terres, seigneurerie et baronnie d'Ivry" à John Holland, comte de Huntingdon.