Permiso en el trabajo para hacer rehabilitación.

Puedo ir a rehabilitacion en horario de trabajo?. me lo ha pautado un médico privado. la clinica de rehabilitación me dió un horario que coincidia con el inicio de mi turno en el trabajo. fui y ahora me dicen que no me corresponde el permiso para esa rehabilitacion, porque puedo ir en otro horario fuera de mi horario de trabajo.
¡es eso legal? ¿me pueden obligar a ir en horario fuera del trabajo, o no pagarme ese tiempo?