# Python machine learning

## This repository has example codes about the reading found on Chapter 4 "Training models" from the book Hands-On Machine Learning with Scikit-Learn and TensorFlow by Aurélien Géron


--------------------------------------------------------------------------------
## Usage
Codes are written on python and can be executed by both python 2 and 3 as long as the libraries are available.

# Report
Siguiendo el orden que se encuentra en el libro mencionado, Comenzamos con el analisis de regresión lineal que utiliza la función de costo mostrada en la siguiente figura:  
![Función de costo para regresión lineal matricial](fig/RegresionCosto.PNG)  

Esta ecuación implementada en el código Regresionlinealmatricial.py, se utilizan como datos originales para las funciones lineales, la ecuación: 4 + 3 * X agregandole un error con distribución normal.
El primer ejemplo, entrega el resultado mostrado a continuación:  
![Resultado al implementar Regresion lineal](fig/Regresionlinealmatricial.png)  
Llegando la regresión a la ecuación 3.96263358 + 3.02663111 * X siendo esta muy cercana a la original.  

Ya que las operaciones matriciales necesarias para resolver una regresión lineal son en general muy lentas y complejas de computar, se muestra la opción de optimizar el algoritmo mendiante una opción más optima: Descenso por gradiente. Este método utiliza el vector gradiente de la función de costo original, que se muestra a continuación:  
![Función de costo gradiente](fig/GradienteCosto.PNG)  
Uno de los más importantes parámetros dentro del método de descenso por gradiente es el tamaño de los pasos que se dan entre cada descenso, ya que si es muy pequeño el algoritmo necesita muchas iteraciones para converger, mientras que si es muy alto, podría diverger al saltar el valle donde se encuentra el mínimo.


![Resultado al implementar Regresion lineal](fig/Regresionlinealmatricial.png)
![Resultado al implementar Regresion lineal](fig/Regresionlinealmatricial.png)
![Resultado al implementar Regresion lineal](fig/Regresionlinealmatricial.png)