Lo devi coniugare al passato con った (passato informale) perché con とき non lo coniughi al passato, ma indichi "a quel tempo"
行った = andato
行ったとき = quando sono andato
私がミラノに行った = sono andato a milano
私がミラノに行ったとき = quando sono andato a milano,
ヅオモに行きました = sono andato al duomo