Varios temas que no encajan en categorías específicas.
Creo que te invitaron a esos grupos; por eso no puedes eliminarlos por tu cuenta: es un problema constante. Por favor, vota y deja un comentario en este feedback para llamar la atención de Microsoft.
https://feedbackportal.microsoft.com/feedback/idea/a17de24f-8ce6-f011-92b9-7c1e5244b89c
Además, puedes usar la solución alternativa que ofrece Community Member para exportar e importar el archivo CSV de contactos, que es la única solución para solucionar esto:
Espero que esta información te ayude. Si tienes más preguntas, no dudes en ponerte en contacto. ¡Te deseo mucha suerte!