In de 15e eeuw besloten voorname families uit de Pastrovici regio om zich op het eilandje te vestigen en daar een vestingstadje te bouwen. Het was een vissersdorpje en handelscentrum geworden en de inwoners voelden zich er veilig van de Turken en piraten. Op het einde van de 19e eeuw en aan het begin van de 20e eeuw verlaten steeds meer inwoners Sveti Stefan (en Montenegro, vaak naar de Verenigde Staten van Amerika) op zoek naar een beter bestaan.
Pastrovici heeft een interessante geschiedenis en wordt voor het eerst in het jaar 1355 n.C. in schriftelijke documenten genoemd. De Pastrovici-stam was verdeeld over 12 broederschappen (bratstva). De regio is genoemd naar een afgezant van keizer Stefan Dusan (car Dusan), die in dat jaar als vertegenwoordiger c.q. diplomaat naar de republiek Dubrovnik (Ragusa) was uitgezonden. Zijn naam was Nikolica Pastrovica. Het gebied (circa 17 km lang) was van grote betekenis. Doordat de families in 1423 een verband hadden gesloten met de Republiek Venetië, konden zij een gedeeltelijke autonomie behouden. Het was een politiek deal: de Pastrovici inwoners konden militair worden ingezet, oostwaarts tot aan Skadar tegen de Ottomanen (Turken), terwijl zij bescherming genoten van de Republiek Venetie en vrijhandel konden drijven. Dit verband hield stand tot 1797. Sveti Stefan werd jarenlang gebruikt als de plaats van gerechtigheid. Het "stammen-stelsel" was zodanig georganiseerd, dat op Vidovdan, 28 juni (15 juni volgens de oude (juliaanse) kerk kalender), een "zbor" werd gehouden waar uit de 12 stammen/broederschappen (bratstva) 4 rechters werden gekozen en 12 afgezanten (uit iedere stam één). Zij spraken recht en namen alle beslissingen die Pastrovici aangingen voor een termijn van een jaar. De autochtone Pastrovici bewoners zijn nog steeds een hechte gemeenschap, en kennen allemaal hun geschiedenis en afkomst.
Er zijn 4 kloosters in de buurt, die het bezoeken waard zijn: Duljevo, Praskvica, Rezevici en Gradiste. Klooster Rezevici wordt het meeste bezocht.
In de jaren '60 van de vorige eeuw besloot de Joegoslavische regering om dit dorp om te toveren tot een exclusief hotel. De vissershuizen werden omgebouwd tot luxueuze accommodaties en al gauw werd Sveti Stefan één van de meest mondaine badplaatsen in Europa. Hierdoor kreeg het de naam Montenegrijns St.-Tropez.
Sinds die tijd hebben vele koninklijke families hun vakantie in Sveti Stefan doorgebracht: de Engelse prinses Margaret, prinses Christine van Oranje-Nassau en de Italiaanse koning Umberto II. Ook hollywood sterren vonden hun weg naar Sveti Stefan. Tot de bekendste horen Sophia Loren, Doris Day, Geraldine Chaplin, Kirk Douglas, Sylvester Stallone en Claudia Schiffer.
Enkele jaren geleden is het hoteleiland geprivatiseerd en voor een lange termijn wordt het geëxploiteerd door Amman Resorts. Het complex bestaat uit 118 villa's nog geheel in authentieke architectuur van buiten, maar van binnen vol luxe met spa & wellness-faciliteiten. Hierdoor is het echter niet meer, of niet altijd, toegankelijk voor kijkers. U kunt er wel prachtig langs wandelen en door het park naar het nabijgelegen Milocer lopen, waar het tweede pand staat van het complex. Dit was vroeger de zomerresidentie van koningin Marija Karadjordjevic en heet daarom ook Kraljicina Plaza (Koninginnestrand). Ook nu is het resort ontdekt door de rich and famous. Zo trouwde in 2014 tennisser Novak Djokovic op Sveti Stefan.
Prijzen vanaf ongeveer 1.000 euro per dag per kamer, een ligbedje op het strand 50,- euro... Wandelen kost overigens niets...
