salir de hipoteca compartida

El 2007 compré un piso con mi pareja (no estamos casados). A los 2 años nos separamos y me marché del piso. Verbalmente acordamos (porque le interesaba) que él se quedaba con la vivienda y la deuda hasta poder sacarme de la hipoteca lo antes posible. Pasado el tiempo, ha vivido allí y alquilado el inmueble durante estos años, pero nunca ha querido sacarme de la hipoteca porque, según dice, empeora en condiciones. Yo nunca he asumido gastos del inmueble y no vivo allí desde marzo 2009.
Quiero desvincularme de todo pero mi miedo es que me reclame gastos. Él propone quitarme de escrituras del inmueble pero no de hipoteca. Obviamente me niego a eso. Me dice que si yo no quiero seguir en esta situación él tampoco quiere el piso. No sé hasta qué punto puede hacer eso después de 11 años, insinuando que yo asuma esa carga.
Hay alguna posibilidad de acabar esta pesadilla? Gracias de antemano