Il piccolo borgo fu abitato dai futuri fondatori di Stintino sino al 1885, anno di istituzione della colonia penale. Da allora Cala d’Oliva non ha più residenti stanziali. Per un secolo fu carcere di massima sicurezza: nel paesino vivevano comandanti, guardie e loro famiglie. Così sino al 1997, quando l’Asinara divenne parco nazionale. Oggi i locali sono sede dell’ente gestore: ospita l’Osservatorio botanico. I saltuari abitanti sono lavoratori stagionali, guardie forestali e visitatori, nell’unico alloggio, un ostello - ex caserma degli agenti di custodia - che accoglie 70 persone, con ristorante e noleggio bici. Attorno a Cala d’Oliva ci sono due spiagge di sabbia bianca: a sud sa Murighessa (o dei Detenuti), a nord, una spiaggetta lambita da un mare dalle tonalità azzurre e blu. I fondali sono ricchi di pesci confidenti, in un ambiente dove si sentono al sicuro.