Python ile Veri Temizleme: Pratik İpuçları

Veri analizi projelerinde çoğu zaman en çok vakit alan bölüm analiz yapmak değil, analize başlamadan önce veriyi kullanılabilir hale getirmektir. Eksik değerler, duplicate kayıtlar, yanlış veri tipleri, tutarsız kategoriler ve hatalı tarih formatları sonuçların tamamını etkileyebilir.

Python ve özellikle pandas bu süreçte oldukça güçlü araçlar sunuyor. Benim için veri temizleme; tek seferlik bir işlemden çok, analizin güvenilirliğini oluşturan temel aşamalardan biri.

“İyi analiz, temiz veriyle başlar. Temiz veri ise sadece boş hücreleri silmekten ibaret değildir.”

Veri Temizleme Nedir?

Veri temizleme; bir veri setindeki hatalı, eksik, tutarsız, tekrar eden veya analiz açısından sorun yaratabilecek kayıtların tespit edilmesi ve uygun yöntemlerle düzenlenmesi sürecidir.

1. İlk Adım: Veriyi Tanımak

Temizleme işlemine doğrudan başlamak yerine önce veri setinin yapısını anlamak çok daha sağlıklı. Satır sayısı, sütun tipleri, eksik değerler ve örnek kayıtlar ilk kontrol edilmesi gereken noktalar.

import pandas as pd

df = pd.read_csv("satislar.csv")

print(df.shape)
print(df.head())
df.info()
print(df.isna().sum())

2. Eksik Verilerle Çalışmak

Eksik veri gördüğümüzde ilk refleks bütün satırları silmek olmamalı. Eksikliğin neden oluştuğunu ve ilgili değişkenin analiz için ne kadar kritik olduğunu anlamak gerekir.

# Her sütundaki eksik değer sayısı
df.isna().sum()

# Eksik kayıtları kaldırmak
df_temiz = df.dropna()

# Sayısal bir alanı medyan ile doldurmak
df["yas"] = df["yas"].fillna(df["yas"].median())

3. Duplicate Kayıtları Bulmak

Aynı kaydın birden fazla kez gelmesi özellikle veri farklı kaynaklardan birleştirildiğinde sık karşılaşılan bir problemdir.

# Tekrarlanan satırları say
df.duplicated().sum()

# Tekrarlanan kayıtları görüntüle
df[df.duplicated()]

# Duplicate kayıtları kaldır
df = df.drop_duplicates()

4. Veri Tiplerini Düzeltmek

Bir sütunda tarihlerin metin olarak gelmesi veya sayısal bir alanın string olarak tutulması analiz sırasında sorun çıkarabilir. Bu yüzden veri tiplerini kontrol etmek önemli.

# Tarih
df["tarih"] = pd.to_datetime(df["tarih"], errors="coerce")

# Sayısal değer
df["satis"] = pd.to_numeric(df["satis"], errors="coerce")

# Kategori
df["kategori"] = df["kategori"].astype("category")

5. Metinleri Standartlaştırmak

“İstanbul”, “istanbul”, “ISTANBUL ” ve “İSTANBUL” gibi değerler kullanıcı açısından aynı olabilir ama veri açısından farklı değerlerdir. Bu nedenle metin normalizasyonu özellikle kategori alanlarında oldukça önemlidir.

df["sehir"] = (
    df["sehir"]
    .astype("string")
    .str.strip()
    .str.lower()
)

6. Aykırı Değerleri Kontrol Etmek

Her sıra dışı değer hatalı değildir. Ancak özellikle gelir, satış, yaş veya süre gibi sayısal değişkenlerde aykırı değerleri kontrol etmek analiz kalitesini artırabilir.

Q1 = df["satis"].quantile(0.25)
Q3 = df["satis"].quantile(0.75)

IQR = Q3 - Q1

alt = Q1 - 1.5 * IQR
ust = Q3 + 1.5 * IQR

aykiri = df[(df["satis"] < alt) | (df["satis"] > ust)]

7. Gereksiz Sütunları Kaldırmak

# Kullanılmayan sütunları kaldır
df = df.drop(columns=["gereksiz_1", "gereksiz_2"])

# Sadece ihtiyaç duyulan sütunları seç
df = df[["tarih", "kategori", "satis"]]

8. Koşullu Veri Temizleme

Bazen veriyi doğrudan silmek yerine belirli kurallara göre sınıflandırmak gerekir.

# Negatif satışları işaretle
df["gecerli_mi"] = df["satis"] >= 0

# Sadece geçerli kayıtları tut
df = df[df["gecerli_mi"]]

# Yardımcı sütunu kaldır
df = df.drop(columns=["gecerli_mi"])

9. Temizlik Sonrası Kontrol

Veriyi temizledikten sonra işlemin gerçekten istediğimiz sonucu ürettiğini tekrar kontrol etmek gerekiyor. Temizleme adımı, kontrol adımı olmadan tamamlanmış sayılmaz.

10. Gerçek Bir Temizleme Akışı

Pratikte tek tek kod çalıştırmak yerine temizleme adımlarını bir fonksiyonda toplamak işleri daha düzenli hale getirir.

def veri_temizle(df):

    df = df.copy()

    df = df.drop_duplicates()

    df["tarih"] = pd.to_datetime(
        df["tarih"],
        errors="coerce"
    )

    df["satis"] = pd.to_numeric(
        df["satis"],
        errors="coerce"
    )

    df["kategori"] = (
        df["kategori"]
        .astype("string")
        .str.strip()
        .str.lower()
    )

    df = df.dropna(subset=["tarih", "satis"])

    return df

Veri Temizlemede En Çok Yapılan Hatalar

Sonuç

Python ile veri temizleme, pandas'ın birkaç fonksiyonunu ezberlemekten çok daha fazlası. Asıl önemli olan verinin yapısını anlamak, hangi problemlerin gerçekten hata olduğunu ayırt etmek ve her müdahaleden sonra sonucu kontrol etmek.

Benim için iyi bir veri temizleme süreci şu sırayı takip ediyor: incele → problem çıkar → temizle → doğrula → dokümante et. Bu yaklaşım, sonraki analizlerin daha güvenilir ve daha tekrarlanabilir olmasını sağlıyor.

“Veri temizleme analizden önce yapılan bir angarya değil; doğru analizin temelidir.”