Machine learning e inteligencia artificial. IFCD077PO.

Este Manual es el más adecuado para impartir la especialidad formativa IFCD077PO "Machine learning e inteligencia artificial" y cumple fielmente con los Conocimientos / Capacidades cognitivas y prácticas de su Programa formativo. Puede solicitar gratuitamente las soluciones a todas las actividades y al examen final en el email [email protected] Capacidades que se adquieren con este Manual: Crear algoritmos para extraer conocimiento de los datos mediante la aplicación de técnicas automáticas. Índice: Introducción 14 1. La era de los datos y la inteligencia artificial. 14 2. Por qué los datos son el punto de partida. 15 3. Las piezas del rompecabezas 15 Estadística 17 1. Conceptos básicos de estadística. 18 1.1. Qué es la estadística y para qué sirve. 18 1.2. Población y muestra. 18 1.3. Observaciones, variables y valores. 19 1.4. Estadística descriptiva: explorar antes de modelar. 20 2. Tipos de variables y escalas de medida. 21 2.1. Por qué importa el tipo de variable. 21 2.2. Variables cuantitativas y cualitativas. 21 2.3. Escalas de medida. 22 2.4. Variables binarias. 23 2.5. Codificación de variables categóricas. 23 3. Medidas de tendencia central. 25 3.1. Qué es una medida de tendencia central. 25 3.2. La media aritmética. 25 3.3. La mediana. 26 3.4. La moda. 26 3.5. Relación entre media, mediana y moda según la forma de la distribución. 27 4. Medidas de dispersión. 29 4.1. Por qué no basta con la tendencia central. 29 4.2. El rango. 29 4.3. La varianza. 30 4.4. La desviación típica o desviación estándar. 30 4.5. El coeficiente de variación. 30 4.6. Los cuartiles y el rango intercuartílico. 31 4.7. Detección de outliers con la desviación típica. 32 5. Distribuciones de probabilidad básicas. 33 5.1. Qué es una distribución de probabilidad. 33 5.2. La distribución normal o gaussiana. 33 5.3. La distribución binomial. 34 5.4. La distribución de Poisson. 35 5.5. Distribuciones sesgadas y colas. 35 6. Introducción a la inferencia estadística. 37 6.1. De la muestra a la población. 37 6.2. Estimación puntual e intervalos de confianza. 37 6.3. Contraste de hipótesis. 38 6.4. El p-valor y sus limitaciones. 38 6.5. Correlación y causalidad. 39 7. Caso práctico integrador. 41 8. Resumen. 44 9. Actividades de autoevaluación. 45 10. Verdadero o falso. 46 11. Evaluación tipo test. 47 Programación 49 1. Python. 50 1.1. Por qué Python domina la ciencia de datos. 50 1.2. Instalación y entorno de trabajo. 50 1.3. Sintaxis básica de Python. 51 2. R. 51 2.1. Qué es R y cuándo elegirlo. 51 2.2. El entorno RStudio. 52 2.3. Sintaxis básica de R. 52 2.4. Paquetes más importantes de R para análisis de datos 53 3. Otros. 54 3.1. SQL: el lenguaje de las bases de datos. 54 3.2. Scala y Spark. 55 3.3. Julia. 55 3.4. Herramientas de bajo código y no código. 56 3.5. Estructuras básicas de programación. 57 3.6. Librerías habituales para ciencia de datos. 60 4. Caso práctico integrador. 65 5. Resumen. 68 6. Actividades de autoevaluación. 69 7. Verdadero o falso. 70 8. Evaluación tipo test. 71 ETL y preparación de datos 73 1. Concepto de ETL: extracción, transformación y carga. 74 1.1. Qué significa ETL. 74 1.2. El proceso ETL en la práctica. 75 1.3. ETL vs. ELT. 75 1.4. Automatización del proceso ETL. 76 2. Fuentes de datos: archivos, bases de datos y APIs. 78 2.1. La diversidad de las fuentes de datos. 78 2.2. Archivos planos: CSV, Excel y JSON. 78 2.3. Bases de datos relacionales. 79 2.4. APIs web. 80 2.5. Web scraping 81 2.6. Bases de datos no relacionales (NoSQL). 81 3. Limpieza de datos: valores nulos, duplicados y errores. 83 3.1. Por qué los datos reales están sucios. 83 3.2. Valores nulos o ausentes. 83 3.3. Valores duplicados. 84 3.4. Errores tipográficos y valores inconsistentes. 85 3.5. Valores imposibles y outliers. 86 4. Transformación y normalización de datos. 87 4.1. Por qué es necesario transformar los datos. 87 4.2. Normalización y estandarización. 87 4.3. Transformaciones de distribución. 88 4.4. Codificación de variables categóricas. 89 4.5. Ingeniería de características (feature engineering). 90 4.6. Selección de características (feature selection). 90 5. Integración de datos procedentes de distintas fuentes. 92 5.1. El reto de combinar datos heterogéneos. 92 5.2. Uniones (joins) entre tablas. 92 5.3. Concatenación de tablas. 93 5.4. Problemas frecuentes en la integración. 93 5.5. Agregaciones y pivotado. 93 6. Calidad del dato y trazabilidad del proceso. 95 6.1. Qué es la calidad del dato. 95 6.2. El perfil de datos (data profiling). 96 6.3. Trazabilidad del proceso. 96 6.4. Fuga de datos (data leakage). 97 6.5. Gobierno del dato. 98 7. Caso práctico integrador. 99 8. Resumen. 102 9. Actividades de autoevaluación. 103 10. Verdadero o falso. 104 11. Evaluación tipo test. 105 Modelos supervisados, no supervisados y semi. 107 1. Introducción al aprendizaje automático. 108 1.1. Qué es el aprendizaje automático. 108 1.2. El proceso de aprendizaje. 109 1.3. El dilema sesgo-varianza. 109 1.4. Tipos de aprendizaje 110 2. Modelos supervisados. 111 2.1. Qué es el aprendizaje supervisado. 111 2.2. División del dataset: entrenamiento, validación y test. 111 2.3. Validación cruzada. 112 3. Regresión y clasificación. 114 3.1. Regresión lineal. 114 3.2. Regresión logística. 114 3.3. Árboles de decisión. 115 3.4. Random Forest (bosques aleatorios). 116 3.5. Gradient Boosting. 116 3.6. Support Vector Machines (SVM). 116 3.7. K-Nearest Neighbors (k-NN). 117 4. Modelos no supervisados. 119 4.1. Qué es el aprendizaje no supervisado. 119 4.2. Algoritmo k-means. 119 4.3. Clustering jerárquico. 120 4.4. DBSCAN. 120 4.5. Análisis de componentes principales (PCA). 121 5. Modelos semisupervisados. 123 5.1. El problema del etiquetado. 123 5.2. Supuestos del aprendizaje semisupervisado. 123 5.3. Técnicas de aprendizaje semisupervisado. 124 5.4. Cuándo usar aprendizaje semisupervisado. 125 6. Tipos de algoritmos. 127 6.1. Visión de conjunto. 127 6.2. Naive Bayes. 127 6.3. Redes bayesianas. 128 6.4. Modelos de mezcla gaussiana (GMM). 128 6.5. Isolation Forest. 129 6.6. Tabla comparativa de algoritmos. 130 7. Evaluación básica de modelos. 131 7.1. Por qué es necesario evaluar los modelos. 131 7.2. Métricas para regresión. 131 7.3. La matriz de confusión. 132 7.4. Métricas para clasificación. 132 7.5. El problema de los datasets desbalanceados. 133 7.6. Ajuste de hiperparámetros. 134 8. Caso práctico integrador. 135 9. Resumen. 138 10. Actividades de autoevaluación. 139 11. Verdadero o falso. 140 12. Evaluación tipo test. 141 Aprendizaje reforzado 143 1. Concepto de aprendizaje reforzado. 144 1.1. Una forma diferente de aprender. 144 1.2. El problema del crédito temporal. 144 1.3. Marco formal: el proceso de decisión de Markov. 145 2. Agente, entorno, estado, acción y recompensa. 146 2.1. Los cinco elementos del aprendizaje reforzado. 146 2.2. El agente. 146 2.3. El entorno. 147 2.4. El estado. 147 2.5. La acción. 148 2.6. La recompensa. 148 2.7. La recompensa acumulada y el factor de descuento. 149 3. Políticas de decisión y estrategias de aprendizaje. 151 3.1. Qué es una política. 151 3.2. La función de valor. 151 3.3. El dilema exploración-explotación. 152 3.4. Métodos de diferencia temporal. 152 3.5. Q-learning. 153 3.6. SARSA. 153 3.7. Métodos de Monte Carlo. 154 3.8. Métodos de gradiente de política (Policy Gradient). 154 4. Diferencias con el aprendizaje supervisado y no supervisado. 156 4.1. Tres formas distintas de aprender. 156 4.2. Diferencias con el aprendizaje supervisado. 156 5. Diferencias con el aprendizaje no supervisado. 157 5.1. Cuándo elegir aprendizaje reforzado. 158 6. Aplicaciones del aprendizaje reforzado. 160 6.1. El impacto real del aprendizaje reforzado. 160 6.2. Juegos y entretenimiento. 160 6.3. Robótica. 161 6.4. Vehículos autónomos. 162 6.5. Sistemas de recomendación. 163 6.6. Optimización de procesos industriales y energía. 163 6.7. Salud y medicina. 164 6.8. Finanzas. 164 6.9. Inteligencia artificial conversacional y grandes modelos de lenguaje. 164 7. Limitaciones y retos principales. 166 7.1. El aprendizaje reforzado no es la solución a todo. 166 7.2. Necesidad de enormes cantidades de experiencia. 166 7.3. La necesidad de un simulador. 166 7.4. Diseño de la función de recompensa. 166 7.5. Inestabilidad del entrenamiento. 167 7.6. Seguridad y restricciones. 167 7.7. Interpretabilidad y confianza. 167 7.8. Generalización limitada. 168 8. Caso práctico integrador. 169 9. Resumen. 172 10. Actividades de autoevaluación. 173 11. Verdadero o falso. 174 12. Evaluación tipo test. 175 DEEP LEARNING 177 1. Introducción al deep learning. 178 1.1. De las redes neuronales al aprendizaje profundo. 178 1.2. Qué hace diferente al deep learning. 178 1.3. Cuándo usar deep learning. 179 2. Redes neuronales artificiales. 180 2.1. La neurona biológica como inspiración. 180 2.2. El perceptrón. 180 2.3. Del perceptrón a la red neuronal multicapa. 181 2.4. La propagación hacia adelante (forward pass). 181 3. Capas, neuronas, pesos y funciones de activación. 183 3.1. Las funciones de activación. 183 3.2. Tipos de capas en deep learning. 184 3.3. Inicialización de pesos. 185 4. Entrenamiento de redes neuronales. 187 4.1. El proceso de entrenamiento. 187 4.2. La función de pérdida. 187 4.3. El descenso del gradiente. 188 4.4. Variantes del descenso del gradiente. 188 4.5. Optimizadores avanzados. 189 4.6. La retropropagación (backpropagation). 190 4.7. El problema del gradiente evanescente y el gradiente explosivo. 190 4.8. Técnicas de regularización. 191 5. Redes convolucionales y procesamiento de imágenes. 193 5.1. Por qué las redes densas no son suficientes para imágenes. 193 5.2. La operación de convolución. 193 5.3. La arquitectura típica de una CNN. 194 5.4. Arquitecturas CNN preentrenadas. 195 5.5. Transfer learning en visión por computador 195 6. Redes recurrentes y procesamiento de secuencias. 197 6.1. El problema de las secuencias. 197 6.2. Las redes recurrentes simples (RNN). 197 6.3. LSTM: Long Short-Term Memory. 198 6.4. GRU: Gated Recurrent Unit. 199 6.5. Redes bidireccionales. 199 6.6. La arquitectura Transformer. 199 6.7. Procesamiento del lenguaje natural con deep learning. 200 7. Aplicaciones actuales del deep learning. 202 7.1. El alcance del deep learning en el mundo real. 202 7.2. Visión por computador. 202 7.3. Procesamiento del lenguaje natural. 203 7.4. Reconocimiento de voz y audio. 204 7.5. Diagnóstico médico. 204 7.6. Generación de contenidos y creatividad 205 7.7. Ciencia y descubrimiento científico. 205 8. Caso práctico integrador. 207 9. Resumen. 210 10. Actividades de autoevaluación. 211 11. Verdadero o falso. 212 12. Evaluación tipo test. 213 Análisis avanzado de datos 215 1. Concepto de análisis avanzado de datos. 216 1.1. Más allá del análisis descriptivo. 216 1.2. Los cuatro niveles del análisis de datos. 217 1.3. La cadena de valor del análisis de datos. 217 1.4. Ciencia de datos vs. análisis de datos vs. inteligencia de negocio. 218 2. Análisis predictivo y prescriptivo. 219 2.1. El análisis predictivo. 219 2.2. Construcción de un modelo predictivo. 219 2.3. Calibración de modelos y curvas de calibración. 220 2.4. El análisis prescriptivo. 221 3. Detección de patrones y anomalías. 222 3.1. Qué es la detección de patrones. 222 3.2. Reglas de asociación y análisis de la cesta de la compra. 222 3.3. Detección de anomalías. 223 3.4. Técnicas de detección de anomalías. 224 4. Segmentación de datos. 226 4.1. Qué es la segmentación y para qué sirve. 226 4.2. Segmentación basada en comportamiento (RFM). 226 4.3. Caracterización e interpretación de segmentos. 228 4.4. El coeficiente de silueta. 228 5. Análisis temporal y series de datos. 230 5.1. Qué es una serie temporal. 230 5.2. Componentes de una serie temporal. 230 5.3. Estacionariedad. 231 5.4. Modelos clásicos de series temporales. 231 5.5. Modelos de deep learning para series temporales. 232 5.6. Validación en series temporales. 233 6. Interpretación de resultados y toma de decisiones. 235 6.1. El reto de la interpretabilidad. 235 6.2. El dilema interpretabilidad-rendimiento. 235 6.3. Importancia de las variables. 236 6.4. SHAP: Shapley Additive Explanations. 237 6.5. LIME: Local Interpretable Model-agnostic Explanations. 237 6.6. De la predicción a la acción. 238 6.7. Data drift y degradación del modelo. 238 7. Limitaciones éticas y técnicas del análisis avanzado. 240 7.1. Los límites de los modelos. 240 7.2. Sesgo algorítmico. 241 7.3. Privacidad y protección de datos. 241 7.4. Transparencia y comunicación honesta. 242 7.5. Automatización de decisiones y responsabilidad. 242 8. Caso práctico integrador. 244 9. Resumen. 247 10. Actividades de autoevaluación. 248 11. Verdadero o falso. 249 12. Evaluación tipo test. 250 Visualización de datos 252 1. Importancia de la visualización de datos. 253 1.1. Por qué el cerebro humano necesita gráficos. 253 1.2. La visualización como herramienta de análisis. 253 1.3. La visualización como herramienta de comunicación. 254 1.4. El proceso de diseño visual de datos. 254 2. Tipos de gráficos y usos recomendados. 255 2.1. La elección correcta del gráfico. 255 2.2. Gráfico de barras y columnas. 256 2.3. Gráfico de líneas. 256 2.4. Histograma. 257 2.5. Diagrama de caja (boxplot). 258 2.6. Diagrama de dispersión (scatter plot). 258 2.7. Mapa de calor (heatmap) 259 3. Principios de diseño visual aplicado a datos. 261 3.1. La teoría del diseño al servicio de los datos. 261 3.2. La jerarquía visual y la atención. 261 3.3. La relación datos-tinta (data-ink ratio). 261 3.4. El uso del color. 262 3.5. La percepción y las ilusiones visuales. 263 3.6. El texto en los gráficos. 263 4. Herramientas de visualización: Python, R, Power BI y Tableau. 264 4.1. Panorama de herramientas. 264 4.2. Matplotlib: la base de la visualización en Python. 264 4.3. Seaborn: visualización estadística en Python. 265 4.4. Plotly: visualización interactiva en Python. 266 4.5. Visualización en R: ggplot2. 266 4.6. Power BI: inteligencia de negocio visual. 267 4.7. Tableau: visualización analítica avanzada. 272 5. Creación de dashboards. 276 5.1. Qué es un dashboard y para qué sirve. 276 5.2. Los KPI: la columna vertebral del dashboard. 276 5.3. Principios de diseño de dashboards. 277 5.4. Tipos de dashboards. 277 5.5. El proceso de diseño de un dashboard. 278 6. Errores frecuentes en la representación visual de datos. 279 6.1. Por qué importa evitar los errores de visualización. 279 6.2. El eje y truncado. 279 6.3. El gráfico circular (de tarta) mal usado. 280 6.4. El abuso del gráfico 3D. 280 6.5. Demasiados colores y el arcoíris de datos. 281 6.6. Escalas inconsistentes. 281 6.7. Demasiada información en un solo gráfico. 281 6.8. Confundir correlación con causalidad en los gráficos. 282 7. Comunicación de resultados mediante visualizaciones. 283 7.1. Visualizar no es suficiente: hay que narrar. 283 7.2. Adaptar la visualización a la audiencia. 283 7.3. La presentación progresiva. 284 7.4. Visualizaciones para informes estáticos vs. Dinámicos. 284 7.5. El rol de la ética en la visualización. 285 8. Caso práctico integrador. 286 9. Resumen. 288 10. Actividades de autoevaluación. 289 11. Verdadero o falso. 290 12. Evaluación tipo test. 291 Resumen final 293 Glosario 295 Evaluación final 300