Hirup Motekar

Multimedia Dalam Temu Balik Informasi

Temu Balik Innformasi Multimedia adalah sebuah metodologi yang telah yang dikembangkan untuk mencari informasi yang relevan didalam database multimedia, dalam hal ini disebut dokumen (Peter, 1997,p4).
Maghrebi berpendapat bahwa sistem temu balik informasi multimedia adalah sistem informasi yang dapat menghitungkan jenis informasi, karakteristik dan komponen (gambar, suara, teks) dalam angka memungkinkan pengguna untuk akses ke informasi tersebut(Maghrebi, 2008).

Sistem Temu Balik Informasi Multimedia adalah sistem untuk manajemen(penyimpanan, pengambilan, danmanipulasi) data beberapamedia sepertikombinasidata tabulasi/administrasi, dokumenteks, gambar, spasial, sejarah, audio, dandata video (joan, 2008).
Tujuan: untuk memberikan jawaban terbaik yang sesuai dengan kebutuhan pengguna.
Komponen Temu Balik Informasi Multimedia
Analisisdokumen: dokumen diproses untuk mengumpulkan informasi statistik
Teknik pencarian interaktif: sistem mendukung interaksi dengan pengguna untuk meningkatkan kemungkinan keberhasilan pencarian
Pengguna dapat memberikan informasi umpan balik kepada sistem.
Prinsip Sistem Temu-kembali Informasi Multimedia
1. Prinsip Temu-kembali Berorientasi Penyimpanan (Storage Oriented Retrieval Principle):
Jika dokumen disimpan dalam tempat yang cocok, maka akan mudah untuk mengambilnya di masa depan. Fokus utama dari prinsip berorientasi penyimpanan adalah organisasi dari “tempat yang sesuai” di mana dokumen yang akhirnya disimpan, atau dimana referensi dokumen yang disimpan (misalnya kartu indeks). Pendekatan yang mengikuti hasil prinsip dalam struktur informasi berupa klasifikasi, dan thesaurus (Lancaster,1986).
2. Prinsip Probabilitas Peringkat (Probablitiy Ranking Principle):Jika respon sistem pengambilan referensi untuk setiap permintaan adalah peringkat dokumen dalam koleksi dalam probabilitas kegunaan bagi pengguna yang mengajukan permintaan, dimana probabilitas diperkirakan seakurat mungkin atas dasar apa pun data telah dibuat tersedia untuk sistem untuk tujuan ini, maka keseluruhan efektivitas sistem untuk penggunanya akan menjadi yang terbaik yang dapat diperoleh berdasarkan data (Robertson, 1977).
Dalam konteks perpustakaan digital, prinsip pertama belum dibenarkan sejauh ini. Prinsip probabilitas peringkat jelas lebih unggul daripada pendekatan penyimpanan tradisional yang berorientasi dalam dua hal. Pertama, prinsip probabilitas peringkat bisa dibuktikan secara matematis. Kedua, percobaan dibuat sejauh ini juga menunjukkan keunggulan prinsip probabilitas peringkat. Perlu dicatat, bagaimanapun, bahwa metode pengambilan penyimpanan berorientasi dan metode pengambilan berdasarkan prinsip probabilitas tidak sepenuhnya tidak berhubungan. Terdapat hubungan antara berbagai jenis metode pengambilan(Penyu dan Croft, 1992) dan (Wong dan Yao, 1995).

Komponen Temu Balik Iinformasi Multimedia
Dokumen multimedia: sistem mampu menyimpan dokumen multimedia
-Dokumen berupa data multimedia (teks, gambar, audio, video, dll)
-Disimpan semi terstruktur: data terstruktur dan tidak terstruktur
Model temu kembali
–Menyajikan daftar dokumen yang diurutkan dalam peringkat.
Jenis-jenis Sistem Temu Kembali

Temu Kembali Audio berbasis Konten(Conten Based Audio Retrieval)
Adapun gambar atau video, data audio dapat dicirikan dengan dua cara: dengan menggunakan metadata untuk menjelaskan isi (benda atau kegiatan) atau dengan mengekstraksi fitur khusus dengan teknik pemrosesan sinyal (misalnya, frekuensi, amplitudo, getaran periode dll) teknik berbasis konten yang paling umum pengindeksan untuk audio adalah untuk segmen sinyal dalam waktu, untuk mendapatkan jendela kecil di mana ia dapat dianggap homogen (amplitudo, kecepatan dan panjang gelombang yang konstan).
Temu Kembali video berbasis Konten(Content Based Video Retrieval)
Isi dari video dapat dilihat sebagai tupel dari set objek yang menarik dalam video, set kegiatan yang signifikan, dan aplikasi untuk menunjukkan bahwa adalah objek dan aplikasi yang berkaitan dengan setiap frame video. Sebuah video adalah urutan adegan, yang disusun oleh tembakan yang bingkai urutan. Sebuah frame gambar statis, tembakan adalah klip yang menyajikan aksi terus menerus dalam waktu dan ruang, dan adegan dan urutan gambar dengan semantik umum. Sebuah perpustakaan video adalah kumpulan dari 5-entri tupel: pengenal rekam video, isinya, jumlah frame, himpunan relasi tentang seluruh video dan aplikasi penempatan (yang menunjukkan di mana berada secara fisik berbagai bagian dari merekam). Query utama merujuk segmen, benda, kegiatan dan beberapa fitur yang muncul dalam sebuah video. Untuk memanipulasi video itu akan dibagi secara logis dalam segmen homogen. Teknik-teknik segmentasi video yang mendapatkan catatan dan menentukan di mana tembakan sudah digabungkan, atau spasial / chromatically terdiri. Setelah segmentasi video disajikan kompak sebagai FS atau RS pohon.
Temu Kembali Citra Berbasis Konten(Content Based Image Retrieval)
Memiliki berbagai sifat yang terkait seperti descriptor dari bentuk / lokasi di mana objek tersebut ditemukan dalam gambar dan keterangan dari fitur, yang menyatakan karakteristik pixel atau kelompok piksel (misalnya nilai-nilai RGB).
Temu Kembali Teks Berbasis Konten(Content Based Text Retrieval)

Pendekatan terbaru dan efisien untuk mengakses database yang berisi teks adalah Latent Semantic Indexing (LSI). Konkretnya, LSI rekan dengan setiap dokumen terbatas ukuran vektor vec (d) yang berisi istilah frekuensi. Dengan demikian, penyimpanan dokumen dalam database menjadi setara dengan menyimpan vektor terkait. Ide dasar dari teknik ini adalah bahwa dokumen sejenis memiliki frekuensi yang sama kata-kata. Teknik ini memungkinkan kedua penghapusan kata-kata dan frase yang tidak memungkinkan membedakan antara berbagai dokumen dan identifikasi orang-orang yang melakukannya. Hal ini dapat mengidentifikasi juga kata-kata serupa.

Ciri Sistem Temu Kembali Citra Berbasis Konten
–suatu teknik pencarian kembali gambar yang mempunyai kemiripan karakteristik atau content dari sekumpulan gambar.
–Proses umum dari CBIR adalah gambar yang menjadi query dan penyimpanan dalam database dilakukan proses ekstraksi fitur.
–Fitur gambar yang dapat digunakan untuk retrieval pada system ini misalnya histogram, susunan warna,teksture,danshape,tipe spesifik dari obyek, tipe event tertentu,lokasi,emosi.

Jenis – Jenis Sistem Temu Kembali Citra Berbasis Konten
1. Sistem Generik CBIR
Qbic pertama kali diusulkan pada awal 90-an. Tujuan dari sistem ini adalah untuk mencari dan mengambil citra berdasarkan sifat visual mereka.Kemudian, ide-ide serupa juga diimplementasikan dalam sistem seperti GIFT, MARS , SIMPLIcity, PhotoSeek Pustaka gambar, dan lain-lain.Dalam sistem ini, warna merupakanyang paling umum digunakan sebagai visual fitur dalam menggambarkan citra. Dalam beberapa kasus, analisis statistik tekstur sederhana digunakan untuk menggambarkan “kehalusan” dari suatu citra, juga menjadi pilihan yang populer. Sistem ini kesulitan untuk menerapkan model analisa citra yang lebih kompleks, seperti deteksi bentuk dan segmentasi tekstur untuk menganalisis citra lebih lanjut.Seringkali parameter untuk model analisis citra yang kompleks ini perlu diperbaiki untuk aplikasi atau kondisi tertentu untuk mendapatkan efisiensi yang lebih tinggi.
Meskipun pendekatan semacam itu adalah cara yang efisien untuk mengklasifikasi daerah, kelemahannya ada pada jumlah kelas perlu diketahui sebelum proses klasifikasi. Informasi tersebut hanya tersedia jika pengetahuan sebelumnya tentang citra yang akan diproses tersedia.Sayangnya, hal ini sering tidak terjadi untuk sistem CBIR generik. Selain itu, model analisis citra yang kompleks sering relatif mahal untuk komputasinya Jadi, sistem ini tidak cocok untuk sistem yang membutuhkan waktu respon yang cepat.
2. Sistem WWW-CBIR
WWW-CBIR merupakan modifikasi dari sistem CBIR asli. Sementara sistem CBIR asli beroperasi sebagian besar dalam lingkungan offline atau tertutup, WWW-CBIR sistem merupakan bagian dari Internet atau online.Perbedaan ini memiliki beberapa implikasi. Pertama, tidak seperti kebanyakan sistem CBIR, ini menunjukkan bahwa pada tingkat arsitektur,sistem ini tidak lagi berada di lingkungan tertutup. Sistem ini dibuka untuk Internet di mana citra akan terus ditambahkan dan dihapus. Kedua,pendekatan untuk menganalisa isi citra juga akan berbeda dari sistem CBIR tradisional. Hal ini disebabkan informasi tambahan yang diperoleh dari dokumen-dokumen yang melekat pada citra seperti file HTML. Terakhir,
skema pengindeksan diaplikasikan pada sistem WWW-CBIR juga mungkin berbeda dari sistem asli. Dengan demikian, mereka tidak memerlukan penyimpanan database besar, tapi koleksi dilakukan dengan mengorbankan waktu komputasi. Waktu komputasi tambahan diperlukan karena kebutuhan untuk pengolahan fitur untuk representasi citra yang telah dikumpulkan.
3. Sistem CBM IR
Sistem CBIR generik adalah kerangka domain spesifik menggunakan pengetahuan sebelumnya dari modalitas medis yang berbeda untuk menentukan isi citra. Pengetahuan yang diperlukan untuk merancang dan mengimplementasikan sistem temu untuk aplikasi domain khusus adalah perbedaan utama antara kedua jenis sistem. Sebagai contoh, medGIFT, sebuah sistem CBMIR digunakan dalam rutin klinis sehari-hari di Rumah Sakit Universitas Jenewa, merupakan adaptasi dari CBIR sistem GIFT (GNU Image Finding Tool). Selama dua dekade terakhir, pengembangan modalitas baru untuk gambar medis seperti Computed Tomography (CT),Magnetic Resonance Imaging(MRI), dan Picture Archiving and Communication Systems (PACS) telah mengakibatkan ledakan pertumbuhan jumlah citra yang disimpan dalam database medis.
Pengukuran Jarak Antar Dua Histogram

Fitur warna merupakan fitur yang paling banyak digunakan pada sistem CBIR.
Banyak diantaranya mengunakan image color histogram.
Color histogram antara dua gambar tadi kemudian dihitung jaraknya.
Gambar yang memiliki jarak paling kecil, merupakan solusinya.
Rumus Menghitung:

dimisalkan ada dua gambar dengan histogram 4 warna yang sudah terkuantisasi sebagai berikut:

Sehinngga:

Arsitektur CBIR

Bagian Arsitektur CBIR
1.Interface:bagian untuk interaksi antara pengguna dengan sistem CBIR melalui aplikasi GUI (Graphical User Interface).Terdiri dari:
–Data Insertion : untuk memasukan citra yang akan diekstraksi.
–Query Specification untuk menentukan citra yang akan dijadikan citra query serta menentukan metode ekstraksi fitur.
–Visualization untuk menampilkan citra query dan citra hasil pencarian.
2. Query-processing module, terdiridari:
-Feature vector extraction untuk mengekstraksi baik citra yang ada didatabase citra maupun citra query.
-Similarity Computation digunakan untuk menghitung kesamaan fitur citra.
-Ranking digunakan untuk mengurutkan citra yang memiliki tingkat kemiripan dengan citra query.
3. Image Database, terdiri dari
-Feature Vectors yang digunakan untuk menyimpan hasil ekstraksi fitur citra.Dan disimpan didalam database derby.
-Images merupakan database citra yang secara fisik berupa folder yang didalamnya terdapat kumpulan citra.

LINK PPT : joko praypgi Temu Balik Informasi Multimedia

DAFTAR PUSTAKA :

Cătălina Negoiţă,Querying and Information Retrieval in Multimedia Databases http://bulletin-mif.unde.ro/docs/20062/12%20NegoitaC.pdf