Vivienda y familia

Mi duda es sobre una vivienda que tengo en propiedad. Mis padres son los avales y me han ayudado económicamente. Hace año y medio mas o menos han alquilado su piso en propiedad, en el que vivía mi hermano, y por trabajo se han ido a vivir a otra provincia, dejando en mi casa a mi hermano, con la promesa de llevárselo con ellos o buscar otra solución. No ha sido así. No aguanto más la situación, porque el no trabaja, no aporta ni ayuda en nada y le tengo que mantener yo salvó cuando mi madre deja dinero para el, que nunca es suficiente y siempre le tengo que dar yo más. No quiero que siga viviendo aquí, quiero que se lo lleven a su casa y que se hagan cargo de su hijo, pero aluden a que me han ayudado y que por ello mi hermano se puede quedar aquí todo el tiempo necesario. No tengo claro que sea así ya que las escrituras del piso estan a mi nombre. Que puedo hacer? Gracias