特定のカテゴリで扱われていない SQL Server の追加機能とトピック
SQL Server 自体はメモリ不足のエラーなどを起こさないが、ホストの Windows の利用可能メモリが枯渇して SQL Server 以外のソフトウェアの動作に支障が出るという現象ですね。
いったん SQL Server の最大メモリを(他のソフトウェアに影響を与えない範囲に)設定して、動作がどうなるか確認されても良いでしょう。
最大メモリの構成で他のソフトウェアへの影響が起きなくなるのであればそれで良いですが、今度は SQL Server の側でメモリ不足が起きるとしたらサーバーの物理メモリが足りていないという判断ができるかと思います。
ご参考まで。