Положено не в паспорте, а свидетельстве о рождении. Но раз в паспорт записали, то в свидетельстве Вы тоже отцом указаны. У Вас два варианта - договорится полюбовно или же обратится в орган опеки и попечительства и в суд с заявлением либо об определении места проживания ребенка и совместной опеки над ребенком, либо о лишении матери родительских прав