Le premier château fut bâti vers 840-850 à l’emplacement d’un hypothétique village sarrasin. Dès 910, il est fait mention de son appartenance à l’évêque de Vaison Hubert Ier. Le site était bien choisi : une étroite crête rocheuse et allongée entre deux vallées, vers l’Est une dalle fortement incline vers en direction du Grozeau et de l’Ouvèze 150 mètres plus bas et vers l’Ouest un surplob abrupt qui plonge vers le Taraïn enfoncé de 90 mètres. La situation défensive est donc solide … la vue dégagée permet au seigneur Evêque de bien surveiller son domaine.
Autour de la forteresse s’établit un village puis une petite village fortifiée qui subit mains sièges dont les chroniques ont gardé mémoire :
1160 – Siège de Raymond VI
1185 ( ou 1189) – Prise de Crestet par le même
1238 – Prise de la village par Raymond VII
XIVème siècle – Le château est remanié
1400-1412 – Garciot de Serres garde le château et le défend effectivement de 1409 à 1412
1563 – Echec des Huguenots devant Le Crestet
1564 – Le ville continue d’entretenir garnison
1574 – Les Huguenots pénètrent par escalade, mettent la ville à sac et s’enfuient précipitamment
1686 – Le château est démantelé sous ordre de Louis XIV
26.IV.1791 – Un détachement de l’armée de Vaucluse sous les ordres de Legot s’empare du Crestet.
A partir de là, et jusqu’au classement du site en 1947, le château a plus ou moins servi de carrière aux habitants qui y ont surtout prélevé les éléments architecturaux les plus ouvragés que l’on retrouve réemployé ici et là dans les habitations aujourd’hui.
Vendu par la commune qui ne pouvait, ou ne voulait plus assumer les risques présentés par les ruines menacées d’éboulement, les restes du château passent de main en main avant d’être acquis par Monsieur Anger en 1979.
Extrait du livre de Charley Schmitt – Crestet village de Vaucluse