Для того чтобы ограничить использование памяти SQL сервером, необходимо:
1. Подключиться к указанному SQL серверу через Management Studio с правами администратора; 2. Вызвать контекстное меню на названии сервера - пункт меню "Свойства"; 3. Указать в пункте "Память" максимальный размер памяти сервера в Мб; 4. Нажать "Ок".
Сервер применит изменения налету. Перезапускать ничего не нужно.