Olá!
Para deletar um arquivo ativo utilize o código abaixo:
With ActiveWorkbook
.Saved = True
.ChangeFileAccess xlReadOnly
Kill ActiveWorkbook.FullName
.Close SaveChanges = False
End With
Muito cuidado ao usar essa função!!
Segue Planilha de Exemplo