Teams とチャネル内で設定、アクセス許可、メンバーシップを制御する
simo-k さんも書かれていますが、「やってやれないことはない」話ではあっても、実際に行うとさまざまな問題が生じて管理上破綻する可能性が大きいと思います。
Teams のファイルの共有は、そのチーム(やチャット)の参加者全員に同じアクセス権を与えて共同作業するという考え方で設計されています。ファイル共有のプラットフォームになっている SharePoint Online でも同じようにサイトのメンバー全員に同じアクセス権を与えて共同作業するという考え方です。
既定のアクセス権を削除して個別のアクセス権を設定することは可能ですが、以下の記事にもあるように「関連付けられている Microsoft 365 グループを通じてチーム サイトのアクセス許可を管理することを強くお勧めします」