Problema con contrato de alquiler

Tuve una visita a una vivienda, el precio me pareció bastante razonable, así que hice la reserva. Unos días después firmamos el contrato (En un bar, lo que me resultó raro), a causa de esto al día siguiente me personé en la vivienda e intenté acceder al edificio, lo que no fue posible, ya que se necesitaba una llave diferente para ello. Al comentárselo al arrendador me dijo que aún no tenía permitido acceder a la vivienda y que si no confiaba en él ya no me alquilaba el piso, así que acepté, pero quería que me devolviera mi depósito y firmáramos una rescisión del contrato por mutuo acuerdo. Estamos ya en una fecha que el contrato es vigente y sigo esperando que me envíe el documento y me devuelva la fianza, no sé qué hacer, ya que él dice que no quiere alquilarme el piso, pero tampoco me devuelve la fianza ni me envía el documento. Yo después de todo esto pues tampoco quiero.