U skladu sa orijentalnim konceptom shvatanja života i odnosa među ljudima u feudalnoj Turskoj, glavni sultanov predstavnik u novoosnovanoj provinciji bila je osoba kojoj je trebalo osigurati smještaj u zgradi, koja bi po svojim dimenzijama, arhitekturi, opremi i namještaju stavila u sjenu sve ostale stambene i upravne zgrade. Prva zgrada bosanskih namjesnika – saraj, po kojoj je grad i dobio ime, sagrađena je prije 1462. godine. U toku turske vladavine u Sarajevu su izgrađena ukupno tri takva saraja koja su izgorjela.

Posljednji, četvrti saraj, sagradio je Topal Šerif Osman-paša (1861. – 1869.), koji je u narodu poznat pod imenom «Konak«. Zgrada u sarajevskom naselju Bistrik dovršena je u novembru 1869. godine i u svoje vrijeme bila je jedna od najljepših i najviših objekata, jer je jedina u gradu imala tri sprata. Gradili su je Splićani Franje Linardov i Franjo Moise. Za vrijeme austrougarske vladavine na objektu i njegovoj neposrednoj okolini izvršeni su 1906. godine izvjesni građevinski radovi, te je urađen dvorišni prostor i postavljene po dvije, u kamenu uklesane, figure lavova.

U jednoj od odaja «Konaka» bio je posmrtni odar austrougarskog nadvojvode Franca Ferdinanda i njegove supruge Sofije, neposredno nakon atentata izvršenog 28. juna 1914. godine. Taj događaj uzima se i kao neposredni povod za izbijanje Prvog svjetskog rata. Rezidencija «Konak» bila je reprezentativni objekat i u vrijeme Kraljevine Jugoslavije, kao i u periodu komunizma. Najugledniji visoki gosti boravili su u njegovim odajama.

Tokom rata u Bosni i Hercegovini, od 1992. do 1995. godine, «Konak» je pretrpio djelimična oštećenja, koja su vidljiva na dijelu njegove fasade i na vitražu na centralnom stepeništu.

Prvi trojni sastanak šefova država Bosne i Hercegovine, Republike Hrvatske i Savezne Republike Jugoslavije, održan je u «Konaku» 15. jula 2002. godine.

Rezidencija «Konak» sada je reprezentativni objekat države Bosne i Hercegovine, i služi za potrebe Predsjedništva Bosne i Hercegovine, državne prijeme i boravak visokih inozemnih delegacija, tokom posjeta Bosni i Hercegovini.