Можно ли включать и выключать стабилизатор с подключённой нагрузкой?

Да, можно (если имеется в виду электрическое подсоединение нагрузки – вилку в розетку или провода к клеммам). Однако при включении/выключении стабилизатора рекомендуется выключенное состояние нагрузки, то есть нахождение включающего нагрузку устройства (автомат, кнопка, тумблер и т.п.) в положении «off»/«откл»).