Las culturas alrededor del mundo muestran niveles variables de conservadurismo. Si bien mantener ideas tradicionales evita que se abracen las incorrectas, también ralentiza o evita la adaptación a los nuevos tiempos. Sin exploración no puede haber mejora, pero a menudo este esfuerzo se desperdicia al no producir mejores resultados, siendo mejor explotar la opción más conocida. Esta tensión se conoce como el problema de exploración/explotación, y ocurre a nivel individual y grupal, cada vez que se toman decisiones. Como tal, ha sido investigado en muchas disciplinas. Ampliamos trabajos anteriores aproximando un continuo de rasgos bajo exploración local, empleando el método de dinámica adaptativa y estudiando múltiples funciones de aptitud. En este trabajo, preguntamos cómo la naturaleza resolvería el problema de exploración/explotación, permitiendo que la selección natural opere en un parámetro de exploración en una variedad de contextos, pensando en la exploración como mutación en un espacio de rasgos con una función de aptitud variable. Específicamente, estudiamos cómo evolucionan las tasas de exploración aplicando dinámica adaptativa a la ecuación replicador-mutador, bajo dos tipos de funciones de aptitud. Para el primero, los beneficios se obtienen al jugar un juego simétrico de dos jugadores y dos acciones, consideramos representantes de todos los juegos en esta clase, incluyendo el Dilema del Prisionero, el juego de Agresión-Paz y el juego de Caza de Ciervos, encontrando que las tasas de exploración a menudo evolucionan a la baja, pero también pueden experimentar selección neutral dependiendo de los parámetros de los juegos o las condiciones iniciales. En segundo lugar, estudiamos la aptitud dependiente del tiempo con una función que tiene un único pico oscilante. Al aumentar el período, observamos un aumento en la tasa óptima de exploración, la cual luego disminuye hacia cero a medida que aumenta la frecuencia del cambio ambiental. Estos resultados establecen varios posibles escenarios evolutivos para las tasas de exploración, brindando información sobre muchas aplicaciones, incluido por qué podemos ver tal diversidad en las tasas de cambio cultural.