El padre no quiere firmar el convenio regulador

El padre de mi hijo y yo íbamos a firmar de mutuo acuerdo el convenio regulador y el régimen de visitas pero ahora se niega a firmar nada, solo quiere hacerlo de palabra y yo le he dicho que así no.
Me dice que aún así va a llevarse el niño a solas y que irá a recogerlo al colegio aunque no haya firmado nada,
¿debo dejar que se lo lleve sin firmar o no?
El niño va a cumplir 3 años y siempre ha estado conmigo, aunque el padre le ha visto siempre que ha querido nunca se lo llevo a solas.