絵文字をボタンやリンクの唯一のコンテンツとして使うのは良いですか？

それだけではありません。絵文字だけのボタン（🗑️ 削除など）は、aria-labelでアクションを説明するaria-labelを組み合わせると、アクセシブルになることがあります — aria-label="削除"。それがなければ、一部の支援ツールはUnicodeの名前を読み上げることがあり、それがユーザーの意図と一致しない場合があります。