тут по-моему никуда не надо обращаться, а поговорить с ним нормально, ведь он явно отшучивается. либо по работе ситуация действительно не позволяет, либо он боится, что Вы пойдете на собеседования во время отпуска.
а куда-то ходить бесполезно - в чем Вы его уличите?