Το Κάστρο βρίσκεται στη νοτιοανατολική γωνία της σύγχρονης πόλης, στην κορυφή ενός βραχώδους ακρωτηρίου που εισέρχεται στη λίμνη Παμβώτιδα.
Η βορειοανατολική ακρόπολη καλύπτει έκταση περίπου 6.000 τμ και περιβάλλεται από τείχος που χρονολογείται εν μέρει στη βυζαντινή περίοδο, συμπεριλαμβανομένης της μνημειώδους νότιας πύλης, πλαισιωμένη από μεγάλο κυκλικό πύργο. Στους βυζαντινούς χρόνους, αυτός ονομαζόταν «Άνω Πύργος» (ή επάνω γουλάς) και ήταν η έδρα του τοπικού κυβερνήτη και αργότερα των Δεσποτών της Ηπείρου. Η ακρόπολη περιλάμβανε ένα παλάτι καθώς και μια εκκλησία αφιερωμένη στον Άγιο Ιωάννη.
Μετά την αποτυχημένη εξέγερση του Διονυσίου του Φιλοσόφου το 1611 και την επακόλουθη εκδίωξη του χριστιανικού πληθυσμού από την περιτειχισμένη πόλη, η εκκλησία του Αγίου Ιωάννη γκρεμίστηκε και αντικαταστάθηκε το 1618 από το συγκρότημα του τζαμιού Ασλάν Πασά, που περιλαμβάνει το τζαμί, τον τάφο του ιδρυτή, μεντρεσέ και κουζίνα, που σώζονται μέχρι σήμερα. Η ακρόπολη έγινε το μουσουλμανικό θρησκευτικό κέντρο της πόλης. Σήμερα στο Τζαμί Ασλάν Πασά στεγάζεται το Δημοτικό Εθνογραφικό Μουσείο Ιωαννίνων.
Η νοτιοανατολική ακρόπολη, περισσότερο γνωστή με το οθωμανικό της όνομα «Ίτς Καλέ» σχηματίζει ουσιαστικά ένα ξεχωριστό φρούριο μέσα στην παλιά πόλη, καλύπτοντας έκταση περίπου 30.000 m2. Παραδοσιακά η ίδρυσή του αποδίδεται στην κατάληψη της πόλης από τον Βοημούνδο το 1082 και το κύριο βυζαντινό κατάλοιπο της περιόδου, ο μεγάλος κυκλικός πύργος στο κέντρο της ακρόπολης, είναι γνωστός ως Πύργος του Βοημούνδου. Εκεί οι πρόσφατες ανασκαφές έφεραν στο φως θεμέλια της ελληνιστικής εποχής. Γραπτές πηγές καταγράφουν ότι στη βυζαντινή περίοδο, η ακρόπολη στέγαζε τις κατοικίες των αρχόντων της πόλης, καθώς και τον καθεδρικό ναό των Ταξιάρχων και την εκκλησία του Παντοκράτορα.
Μετά την κατάκτηση της πόλης από τους Έλληνες το 1913, ο χώρος του κύριου ανακτόρου χρησιμοποιήθηκε για την κατασκευή του στρατιωτικού νοσοκομείου της πόλης, το οποίο με τη σειρά του έδωσε τη θέση του το 1958 σε νέο κτίριο, σχεδιασμένο από τον Β. Χαρίση, που προοριζόταν να λειτουργήσει ως βασιλικό περίπτερο. Από το 1995 στεγάζει το Βυζαντινό Μουσείο Ιωαννίνων. Δίπλα στο μουσείο, στο ανατολικότερο και ψηλότερο τμήμα της ακρόπολης, βρίσκεται το Τζαμί Φετιγιέ με τον τάφο του Αλή Πασά και μιας συζύγου του στα βορειοδυτικά, καλυμμένο από σιδερένιο πλέγμα.
Το κύριο σωζόμενο τμήμα του παλατιού του Αλή είναι το λεγόμενο Θησαυροφυλάκιο στα βόρεια, ένα τετράγωνο κτίριο αγνώστου χρήσης. Ένας θολωτός χώρος δίπλα του μετατράπηκε αργότερα στο εκκλησάκι των Αγίων Αναργύρων. Το Θησαυροφυλάκιο αποκαταστάθηκε το 1989–90 και φιλοξενεί έκθεση για την ιστορία και τις μεθόδους αργυροχρυσοχοΐας στα Ιωάννινα και την ευρύτερη περιοχή του, για την οποία η περιοχή ήταν φημισμένη στους Οθωμανικούς χρόνους.
