Ce complexe se trouve à l'ouest du portique de Vérulanus avec lequel il communique par un large passage. Cependant l'entrée principale donnait sur l'avenue du port et elle avait l'aspect d'une cour de plan elliptique, pavée de mosaïques et entourée de colonnes. Au nord de cette cour se trouvait la porte donnant accès à l'atrium; de chaque côté de cette porte il y avait deux bassins décorés de guirlandes accrochées à des têtes de taureaux.

    Ce bâtiment à 2 étages mesurait 40 x 20 m. et il comprenait, comme la plupart des autres gymnases, une palestre centrale avec un placage en marbres de couleur, entourée de salles répondant aux divers besoins des étudiants. Le salon impérial était au nord et son mur septentrional avait une abside.

    La fouille du gymnase a permis de retrouver des statues qui sont aujourd'hui à Vienne; athlète en bronze, enfant jouant avec un canard (marbre) et groupe représentant Héraclès et le Centaure. Le gymnase du Port date également de l'époque d'Hadrien.