Могу ли я использовать emoji в CSS?

Да — эмодзи работают в любом CSS свойстве, которое принимает строку:

.btn::before { content: "🚀 "; }

Или экранируйте кодовую точку с помощью \:

.btn::before { content: "\1F680 "; }

Установите font-family так, чтобы включить шрифт эмодзи вашей операционной системы для последовательного отображения.