下のサイトの方法を試してみたらどうでしょうか。
Windows 10の例ですがWindows 11でも同じです。
Windows 11がPro以上のエディションの場合は、「2. グループ ポリシー設定」の方が簡単だと思います。
Windows 11がHomeエディションの場合は、グループ ポリシーが使えないためレジストリー操作で行うことになります。
ネットワーク アイコンが "インターネット アクセスなし" となる
レジストリー操作を行う場合は問題が起きた時に元に戻せるようにするため、システムの復元ポイントを作成し、該当キー[NetworkConnectivityStatusIndicator]をエクスポートで保存しておいてから行ってください。
下のサイトを参考にしてください。
下図は上のサイトの手順どおりに試してみた図です。
復元ポイントを手動で作成する方法
レジストリをバックアップ・復元する方法
レジストリ エディター(regedit)の基本操作