これはリモートデスクトップサービスの構成に関する問題なので、以下で質問された方が良いと思います。
※そもそもそのリモートデスクトップサービスのサーバー群を構築したのは誰ですか?
ご自身で構築されたのでなければ、まず構築した人(業者)に相談された方が良いでしょう。
Windows Server - Microsoft Q&A(日本語)
Remote Desktop - Microsoft Q&A(英語)
Windows Server Licensing - Microsoft Q&A(英語)
参加者数が多いので、英語での質問をお勧めします。
※AVD からの接続でのみ問題が起きる(通常のオンプレミス クライアントからは接続できる)のであれば、ネットワークの問題やユーザー資格情報の問題が原因として思い浮かびます。その辺りもよく確認しましょう。