Вообще я бы сменил работу. Работать в одном месте с супругой/девушкой да даже с родственниками - это дело неблагодарное. Даже если вы не пересекаетесь, то все равно работа будет отнимать у вас всё внимание. Вы на работе думаете о работе, и когда дома с девушкой вы тоже говорите о работе, нет места для перезагрузки. А если потом твоя девушка станет начальником другого отдела, то опять о тебе будут говорить всякую фигню (всё таки есть люди, которые любят мутить воду, раскачивать лодку) и т.д. много всяких моментов. А вот когда вы на разных работах, то тут тебе не будут пилить мозг с твоим графиком, как минимум будет удобнее сместить график, никто не скажет "вот у него жена в другом отделе, видите ли она график сменить не может, а этот попу рвёт, другим людям тоже не хочется из-за них график перестраивать"

Поэтому если тебя волнует чужое мнение, а тебя оно волнует судя по посту – это только твоя проблема. Либо тебе становится наплевать на всех и добиваешься удобного для себя и девушки графика, либо если тебя из-за этого грызёт совесть просто поищи нормальную работу с другим графиком, но всё равно советую себя и свой комфорт ставить выше, чем косые взгляды коллег или кого бы там ни было.