La costruzione dell'eremo venne iniziata dallo stesso sant'Alberto, forse del casato dei Malaspina, che nel 1030 andò ad abitare in solitudine nella vicina valletta del Borrione, ove tuttora vi è una piccola cappelletta a lui dedicata. Avendo guarito miracolosamente un figlioletto muto del marchese di Casasco (Malaspina), questi in segno di riconoscenza gli edificò una chiesa romanica dedicata alla Madonna in cui sant'Alberto ed i suoi seguaci eremiti potessero celebrare l'Ufficio divino. Costituitisi in comunità, gli eremiti edificarono il monastero di cui rimane attualmente un'ala: il cosiddetto chiostrino ed il pozzo. A capo della comunità venne eletto sant'Alberto, che rimase abate fino al 1073, anno della sua morte. Nel frattempo l' eremo, alle dirette dipendenze del Papa, era assurto a grande potenza sia spirituale che temporale. Molte erano le celle e le dipendenze dell'eremo, situate nelle attuali province di Piacenza, Pavia, Alessandria e Genova.