Le village est situé sur les Monts de Vaucluse, face à la montagne du Luberon à 7 km du célèbre village médiéval de Gordes et à 12 km de l'Isle sur la Sorgue.
Dans le village, vous pourrez voir l'église paroissiale Saint-Vincent d'origine romane, le château du XIIIème siècle (privé), reconstruit à la fin du XVIème siècle après l'épisode vaudois. La chapelle Saint-Eusèbe, de Vieux lavoirs, une citerne-lavoir, des fontaines, des bories et des éguiers.
Ne manquez pas aussi le musée de la lavande à Coustellet.
L'histoire de Cabrières d'Avignon est assez mouvementée, avec une épisode marquant au moment des guerres de religions :
Au XIème siècle / XIIème siècle, la construction du Château est ordonnée par la famille des Adhemar (les premiers Comtes héréditaires d'Orange). La famille devient les Baux-Adhemar à la suite d'une alliance avec les seigneurs des Baux.
Au XIVème siècle, Laure de Chiabeau (née le 4 juin 1314), fille d'Henri de Chiabeau qui succède aux Baux-Adhemar, est considéré par certains historiens comme la Laure de Pétrarque.
En 1490, le Seigneur Giraud d'Ancézune, fait venir plusieurs familles Vaudoise du Piémont pour exploiter ses terres.
Lors de la persécution de 1545, le village servit de refuge. Le siège de plusieurs jours prit fin après négociation et promesse de vie sauve, mais 400 à 500 vaudois furent massacrés. Les survivants furent vendus comme esclaves à L'Isle-sur-la-Sorgue ou envoyés aux galères. Enfin, le village fut rasé.
En 1695, 6 puits furent creusés sur ordres des Consuls de la commune pour pallier des problèmes d'eau.
Les étés 1724, 1758 et 1761 sont tellement arides que les problèmes d'eau sont importants. Entre 1762 et 1765, un système de canaux et de tuyaux est mis en place pour acheminer l'eau au village mais un hiver trop froid ruine tous les espoirs.
En 1801, de nouveaux travaux peuvent commencer grâce à la découverte dans le vallon des Beaumillons d'une réserve naturelle d'eau.
En 1860, des cèdres sont plantés au nord du village.
En 1872, le nouveau propriétaire du château clôture l'accès à la fontaine privant ainsi les habitants d'un précieux accès à une ressource vitale.