El creciente problema de la obesidad ha sido una cuestión mundial durante varias décadas. Esto es el resultado de trastornos nutricionales comunes que llevan a individuos obesos que son propensos a muchas enfermedades. Gestionar la dieta mientras se lidia simultáneamente con las obligaciones de un adulto trabajador puede ser difícil. Este documento presenta el diseño y desarrollo de una aplicación de seguimiento de dieta basada en un teléfono inteligente, Smart Diet Diary, para ayudar a las personas obesas y a los pacientes a gestionar su ingesta dietética para una vida más saludable. El sistema propuesto utiliza aprendizaje profundo para reconocer un alimento y calcular su valor nutricional en términos de conteo de calorías. El conjunto de datos utilizado comprende 16,000 imágenes de alimentos pertenecientes a 14 categorías diferentes para entrenar un clasificador multi-etiqueta. Aplicamos un modelo de faster R-CNN pre-entrenado para la clasificación y logramos una precisión general de aproximadamente el 80.1% y un cálculo promedio de calorías dentro del 10% del valor real de calorías.