El desarrollo de la IA y la robótica ha llevado a una explosión de investigaciones y al número de implementaciones en sistemas automatizados. Sin embargo, aunque son comunes en la fabricación, estos enfoques no han impactado la química debido a la dificultad de desarrollar sistemas robóticos que sean lo suficientemente hábiles para la operación experimental. En este artículo, se diseñó un sistema de control para manipuladores experimentales de escritorio basado en un algoritmo de fusión de información audio-visual. El robot podría reemplazar al operador para completar algunos trabajos experimentales tediosos y peligrosos enseñándole las habilidades de movimiento del brazo. El sistema se divide en dos partes: adquisición de habilidades y control de movimiento. Para la primera, la señal visual se obtuvo a través de dos algoritmos de detección de movimiento, que se realizaron mediante una red neuronal convolucional de dos flujos mejorada; la señal de audio se extrajo mediante Voice AI con expresiones regulares. Luego, combinamos la información de audio y visual para obtener habilidades motoras de alta coincidencia. La precisión de la adquisición de habilidades puede alcanzar más del 81%. La última parte empleó control motor y reconocimiento de poses de agarre, lo que logró un control y agarre precisos. El sistema puede ser utilizado para la enseñanza y el trabajo de control de experimentos químicos con procesos específicos. Puede reemplazar al operador para completar el trabajo de experimentos químicos mientras reduce significativamente el umbral de programación y mejora la eficiencia.