権限ルールに紐づいたデータがあるためです。
権限ルール紐付けの一覧画面より、削除したい権限グループを「権限ルール(紐付け)」から全て外してください。
その後、権限グループを削除することができます。