El sesgo es un prejuicio desproporcionado a favor de un lado en contra de otro. Debido al éxito de los modelos de lenguaje enmascarados (MLMs) basados en transformadores y su impacto en muchas tareas de procesamiento del lenguaje natural (NLP), ahora se necesita más que nunca una evaluación sistemática del sesgo en estos modelos. Si bien muchos estudios han evaluado el sesgo de género en los MLMs en inglés, solo unos pocos han explorado el sesgo de género en otros idiomas. Este artículo propone un enfoque multilingüe para estimar el sesgo de género en los MLMs de cinco idiomas: chino, inglés, alemán, portugués y español. A diferencia de trabajos anteriores, nuestro enfoque no depende de corpora paralelos acoplados con inglés para detectar el sesgo de género en otros idiomas utilizando léxicos multilingües. Además, se presenta un nuevo método basado en modelos para generar pares de oraciones para un análisis más robusto del sesgo de género. Para cada idioma, se aplican métodos basados en léxicos y en modelos para crear dos conjuntos de datos, que se utilizan para evaluar el sesgo de género en un MLM específicamente entrenado para ese idioma utilizando una métrica de puntuación existente y tres nuevas. Nuestros resultados muestran que el enfoque anterior es sensible a los datos e inestable, lo que sugiere que el sesgo de género debe evaluarse en un conjunto de datos grande utilizando múltiples métricas de evaluación para mejores prácticas.