Módulo 2 - Regresión

Cuando hay múltiples variables independientes presentes, el proceso se llama "regresión lineal multiple". Por ejemplo, predecir la emisión de CO₂ utilizando EngineSize y el número de Cilindors en el motor del coche. Lo bueno es que la regresión lineal múltiple es la extensión del modelo de reg. lineal simple.
Antes de sumergirnos en un dataset de muestra y ver cómo funciona la regresión lineal ¿qué tipo de preguntas responde usándolo?
Básicamente, hay dos tipos de aplkicaciones para la regresión lineal múltiple. En primer lugar, puede ser usado cuando nos gustaría identificar la fuerza del efecto que las variables independientes tienen en una variable dependiente.

Por ejemplo, el tiempo de revisión, la ansiedad de la prueba, la asisntecia a clase y el género, ¿tiene algún efecto en el examen de rendimiento de los estudiantes? En segundo lugra, se puede usar para predecir el impacto de cambios. Es decir, para entender cómo cambia la variable dependiente cuando cambiamos las variables independientes. Por ejemplo, si estuvieramos revisando los datos de una persona, una regresión lineal múltiple puede indicarte cuánto aumenta (o disminuye) la presión arterial de esa persona por casa aumento (o disminución) unitario en el índice de masa corporal (IMC) de un paciente, manteniendo constante otros factores. Como es el caso con regresión lineal simple, la regresión lineal múltiple es un método de predecir una variable continua. Utilizando múltiples variables, llamadas variables independientes, o predictores, que mejor predicen el valor de la variable objetivo, que es también llamada variable dependiente. En la regresión lineal múltiple, el valor objetivo, y, es una combinación lineal de variables independientes, x.
Como el tamaño del motor del coche, el número de cilíndros y consumo de combustible.
La regresión lineal múltiple es muy útil porque puede examinar qué variables son predictores significativos de la variable de resultados. Además, puede averiguar cómo impacta cada característica la variable de resultados. Y de nuevo, como es el caso en la regresión lineal simple, si se consigue crear un modelo de regresión, se puede usar para predecir la cantidad de emisión de un caso desconocido, como el número de registro 9.

Por lo general, el modelo tiene el formato: y=θ_0 + θ_1 x_1 + θ_2 x_2 y así en, hasta ... +θ_n x_n.
Matemáticamente, podemos mostrarlo como una forma de vector también esto significa que se puede mostrar como un producto de punto de 2 vectores: el vector de parámetros y el vector de conjunto de características. Generalmente, podemos mostrar la ecuación de un espacio multidimensional como θ^T x, donde 0 es un vector de n por un parámetro desconocidos en un espacio multidimensional, y x es el vector de los conjuntos de características, como 0 es un vector de coeficientes, y se supone que se multiplica por x. Convenientemente, se muestra como transponer θ. θ es también llamado los parámetros, o, vector de peso de la ecuación de regresión ... ambos, estos términos se pueden usar indistintamente. Y x es el conjunto de características, que representa un coche. Por ejemplo, x1 para el tamaño del motor, o x2 para los cilindros, etc. El primer elemento del conjunto de características se establecería en 1, porqie convierte el θ_0 en el parámetro de intercepción o sesgo cuando el vector se multiplica por el vector de parámetro. Por favor, observe que 0^T x en un espacio dimensional, es la ecuación de una línea.
Es lo que usamos en regresión lineal simple, en dimensiones más altas, cuando tenemos más de una entrada (θ x), la línea se denomina plano o hiper-plano. Y esto es lo que usamos para la regresión lineal múltiple. Por lo tanto, la idea es encontrar el mejor hiper-plano para nuestros datos. Para este fin, y como es el caso en la regresión lineal, debemos estimar los valores para el vector θ que mejor predice el valor del campo objetivo en cada fila.
Para lograr este objetivo, tenemos que minimizar el error de la predicción, ahora, la pregunta es "¿Cómo podemos encontrar los parámetros optimizados?" Para encontrar los parámetros optimizados para nuestro modelo, primero debemos entender cuáles son los parámetros optimizados. A continuación, encontraremos una forma de optimizar los parámetros.
En resumen, los parámetros optimizados son los que conducen a un modelo con los erores menos graves, supongamos, por un momento, que ya hemos encontrado el vector de parámetros de nuestro modelo, significa que ya conocemos los valores del vector 0. Ahora, podemos usar el modelo, y el conjunto de características de la primera fila de nuestro dataset para predecir la emisión de CO₂ para el primer coche, correcto?
Si insertamos los valores del conjunto de características a la ecuación del modelo, encontraremos y digamos, por ejemplo, que devuelve 140 como valor predicho para esta fila específica.
¿Cuál es el valor real? y=196
¿Qué tan diferente es el valor pronosticado del valor real de 196? Bueno, podemos calcularlo simplemente, 196-140=56. Este es el error de nuestro modelo, sólo para una fila, o un coche, en nuestro caso. Como es el caso en regresión lineal, podemos decir qie el error aquí es la distancia desde el dato puntual hasta el modelo de regresión ajustada. La media de todos los errores residuales muestra qué tan malo es el modelo representa el dataset. Se denomina mean squared error o MSE.

Matemáticamente, la MSE puede ser mostrada por la ecuación. Si bien esta no es la única forma de exponer el error de un modelo de regresión lineal múltiple, es una de las formas más populares de hacerlo. el mejor modelo para nuestro dataset es el que tiene un error mínimo para todos los valores de predicción. Por lo tanto, el objetivo de la regresión lineal múltiple es minimizar la ecuación de MSE. Para minimizarlo, deberíamos encontrar los mejores parámetros 0, pero ¿cómo? De acuerdo, ¿Cómo se encuentra el parámetro o coeficientes para la regresión lineal múltiple?
Hay muchas maneras de estimar el valor de estos coeficientes, sin embargo, los métodos más comunes son los mínimos cuadrados ordinarios y el enfoque de optimización, los mínimos cuadrados ordinarios tratan de estimar los valores de los coeficientes minimizando el "mean square error", Este enfoque utiliza los datos como una matriz y usa operaciones de álgebra lineal para estimar los valores óptimos para la theta.
El problema con esta técnica es la complejidad del tiempo para calcular las operaciones matriciales, ya que puede tardar mucho tiempo en terminar. Cuando el número de filas del dataset es menos de 10.000 se puede pensar en esta técnica como una opción, sin embargo, para valores mayores, deberíamos probrar otros enfoques más rápidos. La segunda opción es usar un proceso de optimización de los valores de los coeficientes al minimizar de manera iterativa el error del modelo en sus datos de formación, por ejemplo, puede utilizar Grandient Descent, que inicia la optimización con valores alleatorios para cada coeficiente A continuación, calcila los errores, e intenta minimizarlo cambiando sabiendo los coeficientes en múltiples iteraciones. Grandient descent es un enfoque adecuado si se tiene un dataset grande, por favor, entienda, sin embargo, que hay otros enfoques para estimar los parámetros de la regresión lineal múltiple que se puede explorar por su cuenta.

Después, de encontrar los mejores parámetros para el modelo, puede ir a la fase de predicción, después de encontrar los parámetros de la ecuación lineal, hacecr predicciones es tan simple como resolver la ecuación para un conjunto específico de entradas.
Imaginemos que estamos prediciendo emisiones de CO₂ y/o de otras partículas para el automóvil en el registro número 9, nuestra representación de modelo de regresión lineal para este problema sería: y= θ^T x. Una vez que encontremos los parámetros, podemos conectarlos en la ecuación del modelo lineal. Por ejemplo, vamos a usar 00 = 125,01 = 6.2, 02 = 14, y entonces así. Si lo mapeamos con nuestro dataset, podemos reescribir el modelo lineal como "Co₂ Emission=125 más 6.2 multiplicado por el tamaño del motor más 14 multiplicado por el cilindro", así, como puede ver, estimar la regresión lineal múltiple la importancia relativa de los predictores. Por ejemplo, muestra cque cilindro tiene mayor impacto en las cantidades de emisiones de CO₂ en comparación con el tamaño del motor. Ahora, conectemos la novena fila de nuestro dataset y calculemos la emisión de CO₂ para un coche con el tamaño del motor de 2.4. Así que la Emisión de CO₂ = 125+6.2x2.4+14x4 .... y así, podemos predecir la emisión de CO₂ para este tipo de coche sería 214,1.

Como se ha visto, se puede usar múltiples variables independientes para predecir un valor objetivo en una regresión lineal múltiple. A veces resulta un mejor modelo en comparación con el uso de una regresión lineal simple, que usa sólo una variable independiente para predecir la variable dependiente. Ahora la pregunta es: ¿Cuántas variables independientes se deberían usar para la predicción? ¿Deberíamos usar todos los campos de nuestro dataset? ¿Agregar variables independientes a un modelo de regresión lineal múltiple simepre aumenta la presición del modelo? Básicamente, agregar demasiadas variables independientes sin ninguna justificación teórica puede resultar un modelo de sobreajuste. Un modelo de sobreajuste es un problema real porque es demasiado complicado para su dataset y no es lo suficientemente general como para ser usado para la predicción. Por lo tanto, se recomienda evitar el uso de muchas variables para la predicción, hay diferentes maneras de evitar el sobreajuste de un modelo en regresión, sin emabrgo, eso está fuera del alcance del curso. La siguiente pregunta es: ¿Deben las variables indeoendientes ser continuas? Básicamente, las variables independientes categóricas pueden incorporarse en un modelo de regresión al convertirlas en variables numéricas. Por lo tanto, dada una variable binaria como tipo de coche, el código es "θ" para "Manual" y 1 para "Automático". Como último punto, recuerde que la regresión lineal múltiple es un tipo específico de regresión lineal, por lo tanto, tiene que haber una relación lineal entre la variable dependiente y cada una de las variables independientes. Hay una serie de formas de comprobar la relación lineal, por ejemplo, puede utilizar diagramas de dspersión y, luego, comprobar visualmente la linealidad. Si la relación mostrada en el diagrama de dispersión no es lineal, entonces, debe usar regresión no lineal.

En este caso cubriremos la evaluación de modelos. El objetivo de la regresión es crear un modelo para predecir con precisión un caso desconocido.
Con este fin, tenemos que realizar una evaluación de regresión despueés de crear el modelo, en este caso, estudiaremos dos tipos de enfoques de evaluación que puedan ser utilizados para lograr este objetivo, estos enfoques son: el entrenamiento y la prueba em el mismo dataset, y la división del tren de pruebas. Además, introduciremos algunas métricas para la precisión de los modelos de regresión.
¿Cómo podemos calcular la precisión de nuestro modelo? En otrras palbaras, ¿cuánto podemos congiar en este modelo para la prediccion de una muestra desconocida, usando un determinado dataser y habliendo construido un modelo como la regresión lineal. Una de las soluciones consiste en seleccionar una parte de nuestro dataset para la realización de pruebas.
Por ejemplo, siponfamos que tenemos 10 registros en nuestro dataset, usamos todo el dataset para el entrenamiento, u construimos un modelo usando este conjunto de entrenamiento, Ahora, seleccionamos una pequeña porción del dataset, tales como los números de fila 6 a 9, pero sin etiquetas.
Este conjunto, se denomina un conjunto de pruebas, que tiene las etiquetas, pero las etiquetas no son usadas para la predivvión y se usan sólo como ground truth.

Las etiquetas se denominan "valores reales" del conjunto de pruebas, ahora, pasamos el conjunto de características de la parte de prueba de nuestro modelo construido, y predicen los valores de destino.
Esto indica que tan preciso es actualmente nuestro modelo, hay diferentes métricas para informar de la precisñin del modelo, pero la mayoría de ellos trabajan generalmente, basado en la similitud de los valores pronosticados y reales; sólo comparamos los valores reales y con los valores previstos que se indica como y para el conjunto de pruebas.
El error del modleo es calcilado como la diferenciapromedio entre los valores predicho y los reales para todas las filas. Podemos escribir este error como una ecuación, entonces, el primer enfoque de evaluacióndel que avabamos de hablar es el más simple: formar y probar en el mismo dataset. En un sentido general, cuando se prueba con un dataset en el que se conoce el valor objetivo para cada dato puntual, es capaz de obtener un porcentaje de predicciones exactas para el modelo, este enfoque de evaluación probablemente tendría una alta precisión de formación y una baja precisión fuera de la muestra, ya que el modelo conoce todos los data points de prueba de la formación.

¿Qué es la precisión de formación y la precisión de fuera de la muestra? Hemos dicho que la fomración y las pruebas deen el mismo dataset produce una alta precusuín de formación, pero ¿qué es exactamente la "precisión de formación? La precisión de la fomración es el porcentaje de predicción correcta que hace el modelo cuando se usa el dataset de pruebas Sin embargo, una alta precisión en la formación no es necesariamente algo bueno. Por ejemplo, tener una alta precisión de formación puede dar como resultado un 'sobreajuste' de los datos, esto significa que el modelo esta demasiado formado en el dataset, que puede capturar el estruendo y producir un modelo no generalizado. La precisión fuera de la muestra es el porcentaje de las predicciones correctamente en las que el modelo realiza sobre los datos en los que NO ha sido formado el modelo. Hacer una "formación y prueba" en el mismo dataset probablemente tendrá una precisión baja fuera de la muestra debido a la probabilidad de estar en sobreajuste, es importante que nuestros modelos tengan una precisión alta, fuera de la muestra, porque el propósito de nuestro modelo es, por supuesto, hacer predicciones correctas sobre datos desconocidos, entonces, ¿cómo podemos mejorar la precisión fuera de la muestra?
Una forma consistente en utilizar otro enfoque de evaluación denominado "Train/Test Split".
En este enfoque, seleccionamos una parte de nuestro dataset para formación, por ejemplo, filas de 0 a 5, y el resto se usa para probar, por ejemplo, las filas 6 a 9. El modelo se basa en el conjunto de formación, entonces, el conjunto de características de prueba se pasa al modelo de la predicción y finalmente, los valores pronosticados para el conjunto de pruebas se comparan con los valores reales del dataset.
Este segundo enfoque de evaluación se denomina "Train/Test Split", implica la división del dataset en conjuntos de formación y pruebas, respectivamente, que son mutuamente excluyentes, después de lo cual, se forman con el conjunto de formación y se prueba con el conjunto de pruebas.

Esto proporcionará una evaluación más precisa sobre la precisión de fuera de la muestra, ya que la prueba del dataset no forma parte del dataset que se ha usado para formar los datos, es maás realista para los problemas del mundo real. Esto significa que conocemos los resultados de cada dato puntuañ en este dataset, haciendo genial de probrar.
Y dado que estos datos no se ha ¡n usado para formar el modelo, el modelo no tiene conocimiento del resultado de estos data points.
Así que, en escencia, es realmente una prueba fuera de la muestra. Sin embargo, asegúrese de formar su modelo con conjunto de purebas después, como no quiera perder datos potencialmente valiosos. El problema con la train/test split es que es altamente dependiente de los dataser en los que los datos fueron formados y probados. La variación de esto hace que train/test split tenga una mejor predicción fuera de la muestra que formando y probando en el mismo dataset, pero aún tiene algunos problemas debido a esta dependencia. Otro modelo de evaluación, denominado "k-foldcross-validation", soluciona la mayoría de estos problemas ¿cómo se arregla una alta variación que resulta de una dependencia? Lo promediamos.
K-foldcross-validation : Todo el dataset es representado mediante los puntos de la imagen en la parte superior izquierda. Si tenemos K04 pliegues, entonces separamos este dataset tal como se muestra.

En el primer pliegue, por ejemplo, usamos el primer 25 por ciento del dataset para las pruebas, y el resto para la formación. El modelo se crea usando el conjunto de formación y se evalúa usando el conjunto de pruebas, a continuación, en la siguiente ronda ( o en el segundo pliegue), el segundo 25% del dataset se usa para las pruebas y el resto para la formación del modelo. Una vez más, se calcula la precisión del modelo. Seguimos por todos los pliegues, por último, se promedia el resultado de las cuatro evaluaciones, es decir, la precisión de cada pliegue es entonces promediada, teniendo en cuenta que cada pliegue es distinto, donde no se usa ningún dato de formación en un pliegue en otro.
K-fold Cross-validation, en su forma más sencilla, realiza múltiples train/test split usando el mismo dataset en el que cada división es distinta, entonces, el resultado es promediado para producir una precisión más consistente fuera de la muestra. Queríamos mostrar un modelo de evaluación que aborde algunos de los problemas que hemos descrito en los enfoques anteriores, sin embargom ir en profundaida con el modelo de K-fold cross-validation se encuentra fuera del ámbito del curso.

Métricas de evaluación en modelos de regresión.

Las métricas de evaluación son usadas para explicar el rendimiento de un modelo, como se mencionó, básicamente, podemos comparar los valores actuales y predecir los valores a calcular la precisión de un modelo de regresión. Las métricas de evaluación proporcionan un papel fundamental en el desarrollo de un modelo, ya que proporciona una percepción con respecto a las áreas que requieren mejoras. Estaremos revisando una serie de modelos de evaluación métrica, incluyendo:

• Mean Absolute Error (MAE)
• Mean Squared Error (MSE)
• Root Mean Squared Error (RMSE)

Estos data points corresponden al producto bruto interno (PBI) de China de 1960 a 2014.
La primera columna, son los años, la segunda, el ingreso interno bruto anual correspondiente de china en dólares estadounidenses para ese año. Este es el aspecto de los data points.
Ahora, tenemos un par de preguntas. En primer lugar, "¿Se puede predecir el PIB en función del tiempo?" y en segundo lugar, "¿Podemos usar una regresión lineal simple para modelarlo?" De hecho, si los datos muestran una tendencia curvada, entonces la regresión lineal no producirá un resultado preciso cuando se compara con una regresión no lineal, simplemente porque, como su nombre indica, la regresión lineal presume que los datos son lineales.
El diagrama de dispersión muestra que parece haber una fuerte relación entre el PIB y el tiempo, pero la relación no es lineal.
Como pueden ver, el crecimiento comienza lentamente, a partir de 2005 en adelante, el crecimiento es muy significativo. Y por último, se desacelera ligeramente en los años 2010.
Se parece a una función logística o exponencial. Por lo tanto, requiere un método especial de calculación para el procedimiento de regresión no lineal. Por ejemplo, si asumimos que el modelo para estos data points son funcioens exponenciales, como por ejemplo, y= θ₀+θ₁[θ₂]^x, nuestro trabajo consiste en estimar los parámetros del modelo, es decir, θ,y usar el modelo ajustada para predecir el PIB para casos desconocidos o futuros.

De hecho, existen muchas regresiones diferentes que se pueden usar para adaptarse a cualquier aspecto del dataset. Aquí puede ver una línea de regresión cuadrática y cúbica, y puede continuar y continuar hasta el grado infinito. En esencia, podemos llamar a todos estos "regresión polinómica", donde la relación entre la variable independiente x y la variable dependiente y se modelan como un polinomio grado n en x. Con muchos tipos de regresión para elegir, hay una buena probabilidad de que uno se ajuste bien a su dataset.

Recuerde, es importante elegir una regresión que se adapte mejor a los datos, entonces, ¿qué es la Regresión polinómica? La regresión polinómica se ajusta a una línea curvada desde sus datos. Un ejemplo simple de polinomial, con el grado 3, se muestra como y=θ₀+θ₁x + θ₂x² + θ₃x³ o la potencia de 3, donde θ son parámetros a estimar que hacen que el modelo se ajuste perfectamente a los datos subyacentes. A pesar de que la relación entre x y y es no lineal aquí, y la regresión polinómica puede ajustarse a ellas, un modelo de regresión polinomial puede ser expresado como regresión lineal. Ejemplo:

Dada la ecuación polinómica de tercer grado, mediante la definición de x₁ y x₂=x² ó x la potencia de 2 y así, el modelo se convierte en una regresión lineal simple con nuevas variables como y=θ₀+θ₁x₁+θ₂x₂+θ₃x₃.
Este modelo es lineal en los parámetros al ser estimado, ¿no? Por lo tanto, esta regresión polinómica se considera un caso especial de regresión lineal múltiple tradicional. Por lo tanto, puede utilizar el mismo mecanismo que la regresión lineal para resolver un problema de este tipo. Por lo tanto, puede utilizar el mismo mecanismo que la regresión lineal para resolver un problema de este tipo. Por lo tanto, los modelos de regresión polinomial pueden caber utilizando el modelo de mínimos cuadraticos.
Los mínimos cuadraticos es un método para estimar los parámetros desconocidos en un modelo de regresión lineal, minimizando la suma de los cuadrados de las diferencias entre la variable dependiente observada en el dataset determinado y las predicciones de la función lineal.
Entonces ¿qué es la regresión no lineal exactamente?
En primer lugar, la regresión no lineal es un método para modelar una relación no lineal entre la variable dependiente y un conjunto de variables independientes. El segundo lugar, para que un modelo sea considerado no lineal, y debe ser una función no lineal de los parámetros θ, no necesariamente las características x. Cuando se trata de la ecuación no lineal, puede ser la forma de exponencial, logaritmico, y logística o muchos otros tipos.

Como se puede ver, en todas estas ecuaciones, el cambio de y depende de los cambios en los parámetros θ, no necesariamente en x solamente, es decir, en la regresión no lineal, un modelo no es lineal por parámetros. En contraste con la regresión lineal,no podemos utilizar el método de "mínimos cuadrados" ordinarios para ajustar los datos en regresión no lineal, y en general, la estimación de los parámetros no es fácil.

La primera es averiguar visualmente si la relación es lineal o no lineal

La segunda cosa que tenemos que hacer es usar regresión no lineal en vez de regresión lineal