Fils de saint Magne, évêque d'Avignon. A 16 ans, il fit profession monastique à Lérins, où il resta seize ans. Son père le rappela à Avignon et fit de lui son coadjuteur. Devenu évêque de la ville en 660, il construisit une église à Avignon qui était desservie par les moines de Lérins, ainsi qu'un couvent de soeurs bénédictines. Une de ses bénédictions mit fin à une invasion de cigognes. Ce ne fut qu'en 1647 qu'Agricole devint patron d'Avignon.
Natif de Nîmes, dans le Gard, il se maria et se fixa à Marseille. Les époux se séparèrent bientôt pour devenir religieux. Castor fonda le monastère de Manauque et fut choisi comme évêque d'Apt. A la demande de Castor, Jean Cassien a écrit De institutis coenobiorum (Les institutions cénobitiques).
Groupe de 191 martyrs, ils furent mis à mort pendant la Révolution. Ils furent emprisonnés sous l'Assemblée législative, pour avoir refusé le serment constitutionnel condamné par le Saint-Siège. Le 2 et 3 septembre, ils furent massacrés par la populace, de connivence avec l'Assemblée. Les membres éminents du groupe furent: Jean-Marie de Lau, archevêque d'Arles, François de Rochefoucauld, évêque de Beauvais, Louis, frère de ce dernier et évêque de Saintes, Augustin Ambroise Chevreux, dernier abbé général de la congrégation bénédictine de Saint-Maur, et Charles de la Calmette, comte de Valfons. Cent vingt des victimes furent tuées dans le jardin des carmes, rue de Vaugirard à Paris. Béatifiés par Pie XI en 1926.
En Belgique, elle est surnommée la fière. Native de Louvain, elle était servante dans une auberge de la ville. Elle fut tuée par des brigands qu'elle avait vus assassiner et voler ses employeurs. Le cistercien César d'Heisterbach dit qu'elle voulut se faire cistercienne.