Los modelos basados en redes profundas han logrado excelentes rendimientos en diversas aplicaciones para extraer representaciones de características discriminativas mediante redes neuronales convolucionales (CNN) o redes neuronales recurrentes (RNN). Sin embargo, CNN o RNN pueden no funcionar al manejar datos sin estructuras temporales/espaciales. Por lo tanto, encontrar una nueva técnica para extraer características en lugar de CNN o RNN es una necesidad. Los Árboles de Decisión Aumentados por Gradiente (GBDT) pueden seleccionar las características con la mayor ganancia de información al construir árboles. En este documento, proponemos una arquitectura basada en el conjunto de árboles de decisión y redes neuronales (NN) para múltiples tareas de aprendizaje automático, como clasificación, regresión y ranking. Puede considerarse como una extensión del modelo basado en redes profundas ampliamente utilizado, en el cual utilizamos GBDT en lugar de CNN o RNN. Esta arquitectura consta de dos partes principales: (1) las capas de bosque de decisión, que se centran en aprender características de los datos de entrada, (2) las capas completamente conectadas, que se centran en destilar conocimiento de las capas de bosque de decisión. Impulsado por estas dos partes, el modelo propuesto podría manejar datos sin estructuras temporales/espaciales. Este modelo puede ser entrenado eficientemente mediante descenso de gradiente estocástico a través de retropropagación. Los resultados de la evaluación empírica de diferentes tareas de aprendizaje automático demuestran la efectividad del método propuesto.