İstatistiksel öğrenme, girdi ve çıktı değişkenleri arasındaki matematiksel ilişkileri tahmin ederek öngörü (prediction) veya çıkarım (inference) yapmayı hedefleyen yöntemler topluluğudur. Bu süreçte temel amaç, verideki sistematik bilgiyi temsil eden fonksiyonu bulurken indirgenebilir hatayı en aza indirmek ve modelin karmaşıklığı ile doğruluğu arasındaki dengeyi kurmaktır. Modeller, belirli bir yapı varsayan parametrik yöntemler veya verinin şekline uyum sağlayan esnek parametrik olmayan yöntemler olarak ikiye ayrılır. Eğitim verisi üzerinde yüksek başarı gösteren bir modelin yeni verilerde başarısız olması durumuna aşırı öğrenme (overfitting) denir ve bu durum genellikle yüksek esnekliğe sahip modellerde görülür. İdeal bir model seçimi, düşük yanlılık ile düşük varyans arasında kurulan yanlılık-varyans dengesine (bias-variance trade-off) dayanır. Sonuç olarak, hem sayısal veriler için kullanılan regresyon hem de kategorik veriler için kullanılan sınıflandırma analizlerinde en düşük hata oranına ulaşmak temel gayedir.
Bu bölüm, Bu metin, gözetimli öğrenmenin temel taşlarından biri olan doğrusal regresyon yöntemini kapsamlı bir şekilde incelemektedir. Yazarlar, basit ve çoklu doğrusal regresyon modellerini tanıtarak katsayı tahmini, en küçük kareler yöntemi ve modelin istatistiksel geçerliliğini ölçen p-değerleri ile R² istatistiği gibi kavramları açıklamaktadır. Reklam verileri üzerinden somutlaştırılan anlatım, değişkenler arasındaki ilişkilerin gücünü ve geleceğe yönelik tahminlerin doğruluğunu sorgulamaktadır. Ayrıca metin, etkileşim terimleri ve polinom regresyonu gibi yöntemlerle modelin nasıl esnetilebileceğini göstererek gerçek hayat verilerindeki karmaşıklıklara değinmektedir. Son bölümde ise doğrusallık dışı durumlar, eşdoğrusallık ve sapan değerler gibi model başarısını olumsuz etkileyebilecek potansiyel sorunlar ve çözüm yolları ele alınmaktadır. Özetle kaynaklar, karmaşık istatistiksel öğrenme yaklaşımlarını anlamak için gerekli olan temel regresyon disiplinini sistematik bir yapıda sunmaktadır.