Sosyal Medya Verileriyle Konu Modellemesi: Topic Modeling Nedir?

Topic modeling nedir?

Konu modelleme (topic modeling), bir metin koleksiyonunda birlikte görülme eğilimi gösteren kelimeleri kullanarak gizil konu yapıları keşfetmeye yönelik yöntemler ailesidir. Model, her metni bir veya birden fazla konu ile; her konuyu da kelimeler üzerinde bir olasılık dağılımıyla temsil eder.

Sosyal medya dinleme projelerinde konu modelleme; müşteri şikâyetlerini gruplamak, ürün özellikleri hakkında konuşulanları bulmak, kampanya geri bildirimlerini keşfetmek veya gündemdeki yeni temaları fark etmek için kullanılır. Geleneksel anahtar kelime aramasından farklı olarak, önceden her temanın kelime listesini yazmak zorunda kalmazsınız.

Sosyal medya analizinde nerelerde kullanılır?

• Müşteri deneyimi: Teslimat, fiyat, uygulama performansı, müşteri hizmetleri gibi tekrar eden temaları keşfetme.
• Marka itibarı: Marka hakkında hangi konuların konuşulduğunu ve bunların zaman içinde nasıl değiştiğini inceleme.
• Kampanya değerlendirmesi: Kampanya sonrası kullanıcıların hangi mesajlara, ürün özelliklerine veya deneyimlere odaklandığını anlama.
• Rakip analizi: Rakip markalarla ilgili konuşmaların konu dağılımlarını karşılaştırma.
• Gündem ve kriz izleme: Konu hacmindeki ani artışları erken fark edip uzman incelemesine yönlendirme.

Konu modelleme tek başına duygu analizi değildir. Bir modelin “teslimat” temasını bulması, o konuşmaların olumlu mu olumsuz mu olduğunu söylemez. İki yöntem birbirini tamamlar: konu modelleme neyin konuşulduğunu, duygu analizi nasıl konuşulduğunu verir.

LDA nasıl çalışır?

Latent Dirichlet Allocation (LDA), belgelerin birden fazla konu karışımından oluştuğunu ve her konunun kelimeler için bir olasılık dağılımı tanımladığını varsayan olasılıksal bir konu modelidir. Buradaki “belge”, sosyal medya analizinde tek bir paylaşım, yorum veya önceden belirlenmiş bir metin parçası olabilir.

İki temel dağılım

LDA genellikle belge-kelime sayım matrisiyle çalışır. Bir belgede kelimenin kaç kez geçtiği önemlidir; kelime sırası standart LDA temsilinde doğrudan modellenmez. Bu nedenle deyimler, ironi ve bağlama çok bağlı ifadeler için yalnızca LDA yeterli olmaz.

Konu sayısı neden önemlidir?

Modeldeki konu sayısı önceden seçilir. Çok az konu farklı temaları birbirine karıştırır; çok fazla konu ise aynı temayı parçalara ayırır veya gürültü üretir. Konu sayısı; konu tutarlılığı (coherence), konu çeşitliliği, örnek belgelerin okunması ve analitik amaç birlikte değerlendirilerek seçilmelidir.

Metin ön işleme adımları

Konu modelinin kalitesi çoğu zaman algoritmadan önce metin hazırlığına bağlıdır. Sosyal medya verisi emoji, URL, kullanıcı etiketi, hashtag, yazım hatası, kısaltma, tekrar harf ve platforma özgü gürültü içerir. Her temizleme adımı amaca göre seçilmelidir; aşırı temizlik anlam taşıyan sinyalleri yok eder.

Türkçe metinler için özel notlar

Türkçe eklemeli bir dil olduğundan “gel”, “geldi”, “gelmedi”, “gelecek” biçimleri yüzeyde farklı görünür. Basit kök kırpma her zaman doğru sonucu vermez. Türkçe destekli bir lemmatizer veya Zemberek gibi dil araçları değerlendirilebilir; ancak çıktı mutlaka örnekler üzerinden kontrol edilmelidir.

Olumsuzluk ifadelerini gelişigüzel kaldırmak da risklidir: “ürün iyi” ile “ürün iyi değil” arasındaki fark kaybolur. Konu modelleme duygu sınıflandırması yapmasa bile, bu tür kelimeler tema yorumunu doğrudan etkiler.

Python ile LDA konu modelleme örneği

Aşağıdaki örnek, yorum adlı sütunu bulunan bir CSV dosyası üzerinden temel bir LDA iş akışı gösterir. Kod öğretici olması için sadeleştirilmiştir; üretim ortamında Türkçe tokenization, alana özel stopword listesi, veri kalitesi kontrolleri ve model değerlendirmesi eklenmelidir.

1. Paketleri yükleme

pip install pandas scikit-learn

2. Metni hazırlama ve belge-kelime matrisi

import re
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation

df = pd.read_csv("sosyal_medya_yorumlari.csv")
df = df.dropna(subset=["yorum"]).copy()
df["yorum"] = df["yorum"].astype(str)

def temizle(metin):
    metin = metin.lower()
    metin = re.sub(r"https?://\S+|www\.\S+", " ", metin)
    metin = re.sub(r"@\w+", " ", metin)
    metin = re.sub(r"[^a-zA-ZçğıöşüÇĞİÖŞÜ\s]", " ", metin)
    metin = re.sub(r"\s+", " ", metin).strip()
    return metin

df["temiz_yorum"] = df["yorum"].map(temizle)

stop_words_tr = [
    "ve", "veya", "ama", "ile", "bir",
    "bu", "şu", "çok", "daha", "için",
    "gibi", "mi", "mı", "de", "da"
]

vectorizer = CountVectorizer(
    stop_words=stop_words_tr,
    min_df=5,
    max_df=0.85,
    ngram_range=(1, 2)
)
X = vectorizer.fit_transform(df["temiz_yorum"])

min_df=5 en az beş belgede geçen terimleri tutar; max_df=0.85 belgelerin %85'inden fazlasında görülen çok yaygın terimleri dışarıda bırakır. Veri küçükse bu eşikler fazla agresif kalır. Gösterilen stopword listesi yalnızca örnektir; gerçek bir Türkçe projede alana özel kelimelerle genişletilmelidir.

3. LDA modelini eğitme

n_konu = 6

lda = LatentDirichletAllocation(
    n_components=n_konu,
    max_iter=20,
    learning_method="batch",
    random_state=42
)
doc_topic = lda.fit_transform(X)
kelimeler = vectorizer.get_feature_names_out()

def konu_kelimeleri(model, kelimeler, n=10):
    for i, dagilim in enumerate(model.components_):
        en_iyi = dagilim.argsort()[-n:][::-1]
        terimler = [kelimeler[j] for j in en_iyi]
        print(f"Konu {i + 1}: " + ", ".join(terimler))

konu_kelimeleri(lda, kelimeler, n=10)

df["baskin_konu"] = doc_topic.argmax(axis=1) + 1
df["konu_guveni"] = doc_topic.max(axis=1)

components_ içindeki değerler, kelimelerin konu içindeki ağırlıklarını temsil eden öğrenilmiş parametrelerdir; bunları doğrudan kalibre edilmiş olasılık gibi yorumlamamak gerekir. doc_topic ise her belgenin konu karışımını verir. En baskın konu etiketi kullanışlı bir özettir, ama bir belgenin birden fazla konu taşıyabileceğini gizler — konu_guveni sütununu bu yüzden tutuyoruz.

4. Konu sonuçlarını yorumlama

Model çıktısında konu 1 için “kargo, teslimat, sipariş, kurye”; konu 2 için “uygulama, giriş, hata, ekran” gibi kelimeler görünüyorsa bunlar sırasıyla teslimat ve uygulama deneyimi temaları olarak yorumlanabilir. Ancak konu adlarını algoritma vermez. Analist, kelimeleri ve o konuya yüksek olasılıkla atanan gerçek paylaşımları birlikte okuyarak isimlendirir. Yalnızca kelime listesine bakarak isim vermek, sık yapılan ve kolayca yanlış sonuç veren bir kısayoldur.

R ile LDA uygulaması

R ekosisteminde topicmodels paketi, LDA gibi klasik konu modelleme yöntemlerini uygulamak için kullanılır. Aşağıdaki örnek, önceden temizlenmiş metinlerin yorum_temiz sütununda bulunduğunu varsayar.

install.packages(c("tm", "topicmodels", "tidytext"))

library(tm)
library(topicmodels)
library(tidytext)
library(dplyr)

corpus <- VCorpus(VectorSource(df$yorum_temiz))
dtm <- DocumentTermMatrix(
  corpus,
  control = list(wordLengths = c(2, Inf))
)

# Çok seyrek terimleri filtrelemek gerekebilir
lda_model <- LDA(
  dtm, k = 6,
  method = "Gibbs",
  control = list(seed = 42, burnin = 1000,
                 iter = 2000, thin = 100)
)

terimler <- terms(lda_model, 10)
terimler

Uygulamadan önce boş belgeleri, çok seyrek terimleri ve çok yaygın kelimeleri kontrol edin. Gibbs örneklemesinde iterasyon, burn-in ve thinning ayarları veriye ve modelin yakınsama davranışına göre belirlenmelidir; varsayılan değerleri sorgusuz kullanmak yanıltıcı sonuçlar üretebilir.

Konu sayısı ve model kalitesi nasıl değerlendirilir?

Tek bir metrikle karar vermek yerine birden fazla kanıtı birlikte kullanın. Konu modellemede etiketli bir “doğru cevap” çoğu zaman bulunmadığı için değerlendirme; nicel ölçütleri, örnek belge incelemesini ve iş faydasını birleştirir.

Pratikte birkaç farklı konu sayısı deneyin; her modelden en önemli kelimeleri ve o konuyla ilişkili örnek paylaşımları çıkarın. Konu isimlerini, kapsamını ve örtüşmesini not edin. Sonuçların karar verme sürecine katkı sağlayıp sağlamadığını da ayrıca değerlendirin — bir model istatistiksel olarak iyi, pratikte işe yaramaz olabilir.

LDA'nın sınırlılıkları ve alternatifler

• Kelime sırası: Standart LDA, kelime sırasını ve cümle yapısını doğrudan modellemez.
• Kısa metinler: Tek cümlelik paylaşımlarda kelime örtüşmesi az olduğundan konu çıkarımı zorlaşır. Benzer paylaşımları birleştirme veya kısa metne uygun yöntemler değerlendirilebilir.
• Önceden konu sayısı seçimi: K sayısı sonuçları belirgin biçimde etkiler ve veriden otomatik gelmez.
• Güncel dil ve ironi: Argo, ironi, emoji ve platforma özgü kullanım biçimleri yanlış yorumlanır.
• Konu adlandırma: Model, temaları kendiliğinden iş açısından anlamlı etiketlere dönüştürmez.

Alternatifler arasında NMF (Non-negative Matrix Factorization), metin gömmeleri (embeddings) üzerinde kümeleme, BERTopic gibi embedding tabanlı yaklaşımlar ve denetimli metin sınıflandırması bulunur. LDA sayım tabanlı ve yorumlanabilir bir başlangıçtır; ancak kısa sosyal medya metinlerinde embedding tabanlı yöntemler çoğu zaman daha anlamlı kümeler verir. Bu, kendi veri setiniz üzerinde test edilmesi gereken bir tercihtir — genel bir kural yoktur.

Üretim projesi için önerilen iş akışı

• Kaynak, tarih, platform ve dil bilgilerini mümkünse koruyun.
• Ön işleme kurallarını versiyonlayın; aynı kurallarla tekrar üretilebilir sonuçlar alın.
• Konuları yalnızca kelime listesiyle değil, o konuyla ilişkili gerçek paylaşımlarla isimlendirin.
• Konu hacmini zaman, platform, marka veya kampanya kırılımlarında karşılaştırın.
• Bir konu hacmindeki artışı otomatik olarak kriz veya duygu değişimi saymayın; içerik örneklerini okuyun.
• Örneklem yanlılığı, botlar, spam ve platformların veri erişim kısıtlarını raporda açıkça belirtin.

Konu modelleme, keşif için güçlü bir başlangıçtır

Topic modeling, büyük sosyal medya veri kümelerinde tekrar eden temaları keşfetmek ve analistin incelemesi gereken alanları belirlemek için yararlı bir araçtır. LDA, belgeleri konu karışımları ve konuları kelime dağılımları olarak temsil ederek bu süreci olasılıksal bir çerçeveye taşır.

Ancak kaliteli sonuç yalnızca algoritmaya bağlı değildir. Türkçe metin ön işlemesi, konu sayısının seçimi, örnek paylaşımların incelenmesi, model kararlılığı ve iş hedefleri birlikte değerlendirilmelidir. Konu modellemenin en iyi kullanımı, otomatik çıktıyı nihai gerçek saymak değil; daha derin bir sosyal medya analizi için sistematik bir keşif katmanı olarak kullanmaktır.