Acesse o site: https://powerbithemegenerator.bibb.pro/
Selecione alguns dados para que o tema seja criado de forma automática, como por exemplo cor principal, logo, etc:
Clique em ② Criar tema JSON
o arquivo será baixado em formato json
Se quiser fazer algum ajuste, você pode abri-lo no vs code e ajustar ou trocar alguma cor.
No power BI, na guia Exibição, clique em procurar temas e selecione no seu pc o arquivo json que criamos.
Você também consegue mexer no arquivo json clicando em "Personalizar o tema atual..."