¿Está bien usar un emoji como el único contenido de un botón o enlace?

No por sí solo. Un botón solo con emoji (como 🗑️ para Eliminar) puede ser accesible si lo combinas con un aria-label que describa la acción — aria-label="Eliminar". Sin eso, algunas herramientas de asistencia leerán el nombre Unicode, que puede no coincidir con la intención del usuario.