Pengenalan Text Summarization

Modul ini membahas pengenalan text summarization sebagai teknik dalam Natural Language Processing (NLP) untuk menghasilkan ringkasan otomatis dari teks panjang tanpa menghilangkan makna inti. Perkembangan ledakan data digital membuat teknologi ini krusial dalam mengatasi information overload pada berbagai sumber seperti berita, jurnal ilmiah, laporan bisnis, dan dokumen hukum. Pembahasan mencakup dua pendekatan utama, yaitu extractive summarization, yang memilih kalimat penting dari teks asli, serta abstractive summarization, yang menyusun kembali informasi dalam bentuk kalimat baru layaknya ringkasan manusia.

Dasar Pemrosesan Teks untuk Summarization

Modul ini membahas dasar-dasar text pre-processing sebagai tahapan fundamental sebelum teks diproses oleh model summarization. Pre-processing berperan menormalkan dan membersihkan teks mentah agar dapat direpresentasikan dalam bentuk yang sesuai untuk analisis komputasi, sekaligus meminimalkan noise yang dapat memengaruhi kualitas ringkasan. Tahapan utama yang dibahas meliputi case folding, cleaning teks, tokenisasi, stopword removal, stemming, dan lemmatization, berikut pertimbangan penggunaannya pada model extractive maupun abstractive. Bab ini juga menguraikan konsep representasi teks, mulai dari Bag-of-Words dan TF-IDF hingga pendekatan modern berbasis contextual embedding, yang menjadi fondasi utama pada sistem summarization berbasis transformer. Secara keseluruhan, bab ini menegaskan bahwa keberhasilan text summarization sangat bergantung pada kualitas preprocessing dan representasi teks yang digunakan dalam tahap pemodelan.

Extractive Text Summarization

Modul ini membahas konsep dan mekanisme extractive text summarization sebagai pendekatan peringkasan yang memilih kalimat paling informatif dari dokumen asli tanpa membentuk kalimat baru. Pembahasan mencakup prinsip dasar penentuan sentence importance score, mulai dari pendekatan berbasis statistik (TF, TF-IDF, posisi kalimat, dan panjang kalimat), pendekatan similarity dan graph-based yang memanfaatkan kemiripan semantik antar kalimat melalui cosine similarity dan graph ranking, hingga algoritma populer seperti TextRank, LexRank, LSA, dan SumBasic sebagai fondasi utama metode extractive.

Abstractive Text Summarization

Modul ini membahas abstractive text summarization sebagai pendekatan peringkasan berbasis generasi teks yang bekerja dengan memahami makna dokumen, mengintegrasikan informasi penting, lalu membentuk kalimat baru yang lebih padat, natural, dan koheren. Berbeda dengan extractive summarization yang hanya memilih kalimat dari teks asli, pendekatan abstractive mampu melakukan parafrase, kompresi ide, serta penggabungan informasi lintas kalimat, sehingga menghasilkan ringkasan yang lebih mendekati cara manusia merangkum.

Hybrid Text Summarization

Modul ini membahas hybrid text summarization sebagai pendekatan peringkasan yang mengintegrasikan metode extractive dan abstractive dalam satu pipeline terpadu. Pendekatan ini dirancang untuk mencapai keseimbangan antara kesetiaan fakta dan kualitas bahasa: tahap extractive berfungsi sebagai content filtering untuk memilih informasi paling relevan serta mengurangi noise dan panjang dokumen, sementara tahap abstractive bertugas melakukan kompresi ide, parafrase, dan penyusunan ringkasan yang lebih natural, koheren, dan ringkas.

Evaluasi dan Perbandingan Model Summarization

Modul ini membahas peran evaluasi sebagai komponen krusial dalam pengembangan dan validasi sistem text summarization. Evaluasi berfungsi memastikan bahwa ringkasan yang dihasilkan model benar-benar mewakili informasi penting, tetap setia pada makna sumber (faithful), ringkas dan koheren secara linguistik, serta relevan bagi kebutuhan pengguna. Karena satu dokumen bisa memiliki banyak ringkasan yang sama-sama valid, proses evaluasi bersifat kompleks dan multidimensional—tidak hanya menilai kesamaan kata, tetapi juga informativeness, fluency, coherence, dan minimnya redundansi.

Submission

Modul ini membahas ringkasan keseluruhan dari modul text summarization sebagai proses end-to-end yang tidak sekadar memotong teks panjang, melainkan menyeleksi informasi penting, merepresentasikan makna secara komputasional, dan menghasilkan ringkasan yang informatif, koheren, serta mudah dipahami. Pembahasan mencakup tiga pendekatan utama—extractive, abstractive, dan hybrid—beserta peran masing-masing dalam menjaga keseimbangan antara akurasi fakta (faithfulness) dan keluwesan bahasa (fluency).