Das kleine Dorf wurde von den späteren Gründern von Stintino bis 1885 bewohnt, als der Grundstein für die Strafkolonie gelegt wurde. Seitdem hat Cala d'Oliva keine ständigen Bewohner mehr. Ein Jahrhundert lang war es ein Hochsicherheitsgefängnis: Im Dorf lebten Kommandanten, Wärter und deren Familien. Bis 1997, als die Insel Asinara zum Nationalpark ernannt wurde. Heute sind hier der Sitz der Verwaltungsbehörde sowie das Botanische Observatorium untergebracht. In der einzigen Unterkunft, einer Herberge und ehemaligem Wachhaus, in der 70 Personen untergebracht werden können, mit angeschlossenem Restaurant und Fahrradverleih, leben Saisonarbeiter, Förster und Besucher. Um Cala d'Oliva gibt es zwei weiße Sandstrände: Im Süden sa Murighessa (oder der Häftlinge), im Norden ein kleiner Strand, der von azurblauem Meer umspült wird. Am Meeresgrund tummeln sich zutrauliche Fische in einer Umgebung, in der sie sich sicher fühlen.

Das Dorf liegt im nordöstlichen Teil der Insel, am Ende der 25 km langen Straße, die durch das Dorf führt. Es befindet sich nach einem reizvollen Küstenabschnitt, der von einem aragonesischen Turm aus dem 17. Jahrhundert dominiert wird und durch das Weiß der „alten“, niedrigen Häuser geprägt ist. Schmale Straßen trennen sie voneinander: Beidseitig der Hauptstraße führen zwei Häuserreihen zum Kirchplatz. Zu sehen sind auch eine ehemalige Krankenstation, eine Schule, eine Pizzeria, eine Bar, eine landwirtschaftliche Vorratskammer, eine Käserei, eine Schreinerei und ein kleines Kino. Heute verlassen, aber in gutem Zustand. Dahinter, ganz oben, erheben sich die Gebäude der ehemaligen Strafkolonie: Bunker für die gefährlichsten Häftlinge sowie die Leitung der Gefängnisbezirke. Vom Zentrum aus führt eine Straße bergab zum Jachthafen. Hier und an zwei weiteren Anlegestellen der Asinara, Cala Reale und Fornelli, kommen die zugelassenen Boote aus Stintino und Porto Torres an. Eine weitere Straße führt bis zum Gästehaus, das den Richtern Falcone und Borsellino als Wohnsitz diente. Eine dritte Straße führt hinauf zur zentralen Abzweigung und weiter über einen Schotterweg zur wunderschönen Cala Sabina. Von Cala d'Oliva aus kann man auch auf zwei Wegen gehen: „Del Leccio“ bis zum Wald von Elighe Mannu, und „del Faro“ nach Punta Scorno, der äußersten, wilden Nordspitze der Insel.