diff --git a/soc/espressif/esp32/Kconfig.defconfig b/soc/espressif/esp32/Kconfig.defconfig
index 7d793d2..17bda58 100644
--- a/soc/espressif/esp32/Kconfig.defconfig
+++ b/soc/espressif/esp32/Kconfig.defconfig
@@ -27,7 +27,7 @@
 	default y
 
 config SCHED_CPU_MASK
-	default y
+	default y if SCHED_DUMB
 
 config MP_MAX_NUM_CPUS
 	default 2