Sarayın çevresi surlarla çevrilidir. Kıyı kesimindeki surlar Bizans çağından kalmadır. 1478'de yaptırılan iç kesimdeki surun ise uzunluğu 1,400 metredir. Kara yönünden sarayı koruyan bu surun üzerinde 25'i dört köşeli, 2'si sekiz köşeli, l'i dokuz köşeli olmak üzere 28 kule vardır. Surun ana kapısı Ayasofya arkasındaki Babı Hümayun'dur (Sultan Kapısı). Bundan başka beşi küçük, ikisi büyük yedi kapı daha vardır.


