U njegovim književnim delima srećemo lepezu ženskih likova, seoskih i gradskih devojaka, gospođa i kontesa, ali samo jedna od svih njih je “Jelena, žena koje nema”- pripovetka bez fabule, u kojoj je Andrić izneo osećanja za koja niko nije slutio da zaista postoje duboko u njemu. Svi su mislili da je Jelena samo plod piščeve mašte, ne sluteći pravu bujicu osećanja čoveka koji zaista dugo i iskreno voli jednu ženu koja ne može biti njegova - pa je zato nema.

Andrić, poznat po svojoj zatvorenosti, dugi niz godina je bio ljubomorni čuvar svoje tajne. Neki su ga smatrali samotnjakom, ne znajući da je bio zaljubljen u Milicu Babić-Jovanović (kostimografkinja Narodnog pozorišta u Beogradu), ženu svog prijatelja Nenada Jovanovića (novinar i prevodilac), ženu kojoj se nije nadao, ženu koju nema ali koja, kao plod njegove mašte, često dolazi kod njega na raznim mestima, u raznim situacijama, daleka, divna, nedostižna!

Kao da se pridržavao čuvene misli Bernarda Šoa: “Ni jednu tajnu nećete bolje sačuvati od one o kojoj svako nagadja”, svakodnevno joj je pisao pisma koja je slao na adrese gde ona tek treba da stigne, kako bi je pošta dočekala i iznenadila. Sve do smrti Nenada Jovanovića, Andrić svoja pisma uvek počinje sa: "Dragi prijatelji,” i svako potpisuje nadimkom koji mu je Milica dala pre jednog njegovog polaska na put – Mandarin. Ovakav način ljubavne igre prihvatila je i ona. Ne nadajući se ničemu, strpljivo je čekao. “Znam da se svuda i svagda može javiti Jelena, žena koje nema. Samo da ne prestanem da je iščekujem!”

Nenad umire 1957. godine i tada nastupa period nepodnošljivog ljubavnog jada zakletog neženje koji više ne može i neće da živi bez nje, pozorišne slikarke (kako je imao običaj da je zove). Godinu i po dana kasnije (1958) su se venčali. Tek tada je priznao da je pišući priču "Jelena, žena koje nema" imao na umu svoju sadašnju suprugu. U prilog tome da je njegova ljubav prema njoj bila prava, iskrena i snažna, ona koja raste od jutra prema večeri, ona koje je više danas nego juče a mnogo manje nego sutra, govori podatak da sada već oženjen, šezdesetogodišnji Andrić nastavlja sa svojih putovanja da piše ljubavna pisma u kojima se, poput nestašnog dečaka, udvara svojoj supruzi Milici.

Vest da je roman “Na Drini ćuprija” ocenjen kao remek-delo jugoslovenske književnosti, i da je njegov autor dobio Nobelovu nagradu, je stigla ubrzo nakon toga (1961). U raskošno plavoj balskoj haljini Milica Babić-Andrić je prisustvovala ceremoniji uručenja ove velike nagrade svom mužu – Ivi Andriću.

Poslovica kaže: “Ni jedna prava sreća ne traje dugo, svaka je kratkotrajna.” Milica je posle duge i teške bolesti, preminula 1968. godine. On ju je voleo i posle njene smrti.

Evo šta je zabeležio:Sada vidim - naša je sudbina da sagorimo. Uvek sam tako osećao svet i sebe u njemu, iako nisam uvek imao snage ni mogućnosti da toj istini pogledam u oči i da je mirno prihvatim. Sad, kad je sve dobro moje u jednom trenu izgorelo, vidim jasno: sve što se na zemlji rađa i pod suncem živi ide tim putem. I tome ne treba tražiti razloga, smisla ni objašnjenja.

Ove reči su mu pomogle da podnese ogromnu prazninu koja ga je razdirala do kraja života (1975).