Aucune source populaire ou historique n'a pu préciser ni la date ou l'époque d'arrivée de cette personne dans cette région, ni la vénération dont il a été l'objet par les populations locales.

Cependant, d'après les personnes âgées de la tribu des Aït Hdiddou, Sidi Ahmed Oulmaghni descend d'une famille de la Dynastie Idrisside. Il est venu de Laâyoun dans la région d'Oujda, au Maroc Oriental, et s'est installé au sein de cette tribu.

Pendant les périodes ou sévissait la sécheresse, les bergers sollicitaient sa Baraka qui alimentait leurs troupeaux. La légende raconte que les chameaux et les autres bêtes qui se reposent et passent la nuit à l'actuelle place du moussem s'engraissent du jour au lendemain sans qu'il y ait d'herbe sur place.

La mémoire des Aït Hdiddou garde toujours l'histoire orale de ce saint dont le corps a été retrouvé non décomposé suite à la découverte d'une lumière qui émanait de sa tombe, et des lors les habitants se rassemblaient annuellement autour de sa tombe en signe de reconnaissance à la Baraka de ce grand Saint.