Los pares de engranajes helicoidales internos son sensibles a errores de fabricación y ensamblaje, así como a la deformación por carga, lo que puede resultar en vibraciones y ruido. Se dispone de una modificación topológica tridimensional de las superficies de los dientes para reducir esta sensibilidad. Se propone un método de modificación topológica 3D mediante un método de rectificado de forma de engranaje helicoidal interno. El modelo de superficie de diente modificado se construyó utilizando la teoría de mallas espaciales y transformaciones matriciales. Se estableció un análisis de contacto de dientes cargados (LTCA) para investigar la ley de efecto de los parámetros de modificación sobre el rendimiento de carga del engranaje. Los resultados de la simulación indicaron que el área de contacto apareció en la zona media de la superficie del diente bajo condiciones de carga de diseño, con poco contacto en los bordes. El error de transmisión disminuyó hasta un 28.4% en comparación con el diente sin modificación. El rendimiento de engranaje dinámico del par de engranajes helicoidales internos se mejoró significativamente. Se realizó un experimento de transmisión para verificar la efectividad y validez de los resultados de la simulación.