Müşteri Kaybı Tahmini: Modelden Arama ListesineCustomer Churn Prediction: From Model to Call List

Abonelik iş modellerinde asıl sorun müşterinin ayrılması değil, ayrıldığını ancak ayrıldıktan sonra öğrenmek. Bu çalışmada 7.043 telekom müşterisinin verisiyle uçtan uca bir kayıp (churn) tahmini kurdum: kimin ayrılma riski taşıdığını, riski hangi davranışların açıkladığını ve sınırlı bir elde tutma kapasitesinin nereye yönlendirilmesi gerektiğini ölçtüm.

Projenin çıktısı bir olasılık listesi değil, öncelik sırasına dizilmiş bir arama listesi. Bunun neden farklı bir şey olduğunu da raporun ortasında somut sayılarla gösteriyorum: bu veride doğruluk oranı neredeyse hiçbir şey anlatmıyor.

Veri ve temizlik

Veri, IBM'in açık Telco Customer Churn seti: kurgusal bir telekom şirketinin müşteri kayıtları, churn literatüründe karşılaştırma amacıyla standart hâle gelmiş bir veri. Müşteri başına tek satır, 21 sütun; hedef değişken müşterinin aboneliğini sonlandırıp sonlandırmadığı. Raporda yer alan bütün sayılar bu dosyadan hesaplandı — sentetik veri üretilmedi, hiçbir metrik temsilî değil.

Eksik veriyi doldurmadan önce desenine bakmak gerekiyor. Burada eksiklik tek bir değişkenle tamamen açıklanıyor; medyan yazmak bu on bir müşteriye var olmayan bir geçmiş atfederdi. On bir satır 7.043'ün içinde kaybolur ama aynı desen büyük veride binlerce satır olsaydı karar ciddi biçimde önem kazanırdı.

Kayıp nerede yoğunlaşıyor?

Model kurmadan önce dört kırılım, modelin sonradan bulduğu yapının büyük kısmını zaten gösteriyor.

Aydan aya sözleşmeli müşterilerin kayıp oranı, iki yıllık sözleşmelilerin 15 katı. Tek bir değişkende bu keskinlikte bir ayrım nadirdir.

Dört kırılım da aynı profili işaret ediyor: bağlılığı zayıf, aylık ödemeli, ek hizmet ve destek almayan, kıdemi düşük müşteri. Ödeme yönteminin bu kadar ayırt edici olması dikkat çekici — otomatik ödeme talimatı vermek, ilişkiyi sürdürme niyetinin göstergesi gibi davranıyor.

Yöntem ve veri sızıntısı

Sayısal değişkenler standartlaştırıldı, kategorikler one-hot kodlandı ve üç model aynı veri hattından geçti. Sınıf dengesizliği için üçünde de class_weight="balanced" kullanıldı: model azınlık sınıfını kaçırmayı daha pahalı sayıyor.

onisle = ColumnTransformer([
    ("num", Pipeline([("i", SimpleImputer(strategy="median")),
                      ("s", StandardScaler())]), sayisal),
    ("cat", Pipeline([("i", SimpleImputer(strategy="most_frequent")),
                      ("o", OneHotEncoder(handle_unknown="ignore"))]), kategorik),
])

X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y)

Sızıntının en sinsi biçimi, ölçekleme ortalamasını veya doldurma medyanını tüm veri üzerinden hesaplamaktır; test setinin bilgisi böylece modele sızar ve rapor edilen performans gerçekte ulaşılamayacak kadar iyi çıkar. Bütün dönüşümleri Pipeline içine almak bunu yapısal olarak engelliyor: her katlamada parametreler yeniden ve yalnızca eğitim verisinden öğreniliyor.

Üç model, tek test seti

Üç modelin çapraz doğrulanmış ROC-AUC'leri 0,830 ile 0,845 arasında; aradaki fark standart sapmaların mertebesinde. Model seçimi bu problemin zor kısmı değil. Yorumlanabilir olduğu ve en yüksek duyarlılığı verdiği için lojistik regresyon üretim adayı olarak seçildi.

Doğruluk neden kullanılamaz?

Müşterilerin %73,5'i kalıyor. "Hiç kimse ayrılmaz" diyen, hiçbir şey öğrenmemiş bir model %73,5 doğruluk alır. Lojistik regresyonun %73,8'i bunun yalnızca 0,3 puan üzerinde.

Doğruluğa bakan biri modeli işe yaramaz sanır. Oysa aynı model, ayrılacak müşterilerin %78,3'ünü yakalıyor: 581 müşteriyi işaretliyor, 293'ü gerçekten ayrılıyor, yalnızca 81 kayıp müşteri gözden kaçıyor. Doğruluğun düşük kalması bir kusur değil, bilinçli bir takas — class_weight modeli kaçırmamaya zorluyor, bedeli de yanlış alarm.

Eşik de bir varsayım. 0,5 matematikten değil alışkanlıktan geliyor ve kapasiteye göre değişmeli: 0,3 eşiğinde kayıpların %92,8'i yakalanıyor ama 809 müşteri aranıyor; 0,7 eşiğinde 373 arama ile kayıpların %60,2'sine ulaşılıyor ve her iki aramadan biri isabetli oluyor. Üretimde bu eşik, eğitim verisinden ayrılan bir doğrulama kümesinde seçilmelidir — test setinde değil.

Kayıpla ilişkili etkenler

İki bağımsız yöntem aynı sıralamayı veriyor. Permütasyon öneminde tenure tek başına ROC-AUC'yi 0,152 puan düşürüyor; onu InternetService (0,043), Contract (0,040) ve MonthlyCharges (0,038) izliyor.

MonthlyCharges katsayısının negatif çıkması (odds oranı 0,52) ilk bakışta çelişki gibi görünüyor; tek başına bakıldığında pahalı paketlerde kayıp daha yüksek. Bu bir hata değil, koşullu etki: model zaten "fiber optik" bilgisine sahip ve pahalı olmanın riskini oradan okuyor. Fiber olduğu bilindikten sonra, yüksek aylık ücret daha kapsamlı ve daha bağlı bir aboneliğe işaret ediyor.

Risk grupları ve aksiyonlar

Model çıktısı olasılık eşiklerine göre üç gruba ayrıldı. Tablodaki kayıp oranları gerçekleşen değerlerdir; test setindeki 1.409 müşterinin gerçek sonuçlarından hesaplandı.

Gruplamanın işe yaramasının sebebi şu: yüksek risk grubu müşterilerin yalnızca %35'ini kapsıyor ama kaybedilen aylık gelirin %74,8'ini taşıyor. Üstelik bu grubun ortalama aylık ücreti (77,59 $) düşük risk grubundan (54,45 $) belirgin biçimde yüksek — kaybedilen müşteriler aynı zamanda daha değerli müşteriler.

Puandan arama listesine

Asıl soru şuydu: bu hafta kimi arayacağız? Cevabı doğruluk oranı değil, lift veriyor. Müşteriler risk puanına göre sıralanıp üstten belli bir yüzde alındığında o dilimde gerçekte kaç kayıp olduğuna bakılıyor.

En riskli %10'u aradığında her dört müşteriden üçü gerçekten ayrılacak olan müşteri. Rastgele arama yapılsaydı bu oran %26,5 olurdu. Müşterilerin yarısını arayacak kapasite varsa kayıpların %87'sine ulaşılıyor.

Dört adımın üçü teknik, biri değil. Model, ayrılmaya en yakın müşterileri seçiyor; bu müşterilere yapılan müdahalenin işe yaradığını varsaymak churn projelerinin en yaygın hatası. İşaretlenen müşterilerin rastgele seçilmiş bir bölümüne dokunmayıp iki grubu karşılaştırmak, artımlı etkiyi görmenin tek yolu.

Sınırlar

Sonuç

Üç model de birbirine yakın çıktı: çapraz doğrulanmış ROC-AUC 0,830 ile 0,845 arasında. Model seçimi bu problemin zor kısmı değildi; zor kısım, çıkan olasılığı doğru soruya bağlamaktı.

Doğruluk oranına bakan biri modeli çöpe atardı — %73,8, hiçbir şey yapmayan modelin 0,3 puan üstünde. Lift tablosuna bakan biri ise şunu görüyor: en riskli %10'luk dilimde kayıp oranı %75,7, rastgele aramanın 2,85 katı isabet; yüksek risk grubu ise kaybedilen aylık gelirin dörtte üçünü taşıyor. Aynı model, aynı sayılar — farklı olan tek şey sorulan soru.

Analizin tamamı Python ve scikit-learn ile yapıldı; bütün betiklerde random_state=42 sabitlendi, aynı veriyle aynı sayılar üretilir. Veri seti: IBM Telco Customer Churn (7.043 müşteri, 21 değişken).