Tutorial DQS SQL Server (Data Cleansing & Data Matching)

   Pada kesempatan ini saya akan menjelaskan beberapa proses yang ada di dalam aplikasi Data Quality Services dan merupakan bagian dari aplikasi SQL Server.

   Disini saya akan menjelaskan langkah-langkah bagaimana cara untuk melakukan Data Cleansing dan Data Matching. Tapi disini saya mengambil kasus yang sudah ada file .dqs nya dan tinggal melakukan import. Berikut langkah-langkahnya :

A. Melakukan Import Knowledge Base

1. Langkah pertama Lakukan login seperti biasanya, kemudian pada Kolom Knowledge Management pilih "New Knowledge Base", Berikut contoh tampilannya :

2. Kemudian beri nama knowledge basenya, selanjutnya pada "Create Knowledge Base Drom" pilih "Import from DQS file" lalu browse dimana file dqs anda simpan, kemudian pada "Select Activity" pilih "Domain Management", lalu klik next. Berikut contoh tampilannya :

3. Kemudian pada halaman Domain Management disini saya langsung "Finish" karena file domain sudah tersedia, namun jika ingin melakukan pengaturan "Domain Rules" bisa diakukan sesuai keinginan masing-masing. Setelah klik "Finish" akan muncul pop up proses penyimpanan, dan jangan lupa meng-klik "Publish" pada pop up yang muncul. Berikut Contoh Tampilannya :

4. Kemudian jika sudah di "Publish" pada kolom Knowledge Base Management akan muncul Knowledge Base yang kita buat. Dan berikut Hasil Akhir dari import file dqs : 

B. Melakukan Knowledge Discovery

1. Setelah Membuat Knowledge base, langkah selanjutnya yaitu melakukan knowledge discovery, yaitu untuk mentukan domain. Caranya yaitu dengan mengklik knowledge base yang tadi sudah di buat lalu pilih "Knowledge Discovery". Berikut contoh tampilannya :

2. Kemudian akan berpindah halaman seperti gambar dibawah. Pada "Data Source" disini saya memilih "Excel File" karena data yang saya punya berasal dari MS.Excel.

3. Kemudian akan muncul pop up untuk memilih file Excel yang akan kita pilih. Pada pemilihan file excel terdapat 3 jenis tipe file yaitu xls, xlsx, dan csv, namun saya menggunakan tipe csv, karena jika menggunakan yang lain file excel ti dak bisa terbaca. Berikut contoh tampilannya :

4. Setelah memilih, pada bagian "Mapping" lakukan pencocokan source column yang berasal dari excel dengan Domain yang berasal dari knowledge base kemudian tekan "Next", contoh seperti gambar di bawah ini :

5. Selanjutnya akan muncul tampilan seperti berikut, dan klik "Start": 

6. Tunggu beberapa saat hingga proses selesai. Kemudian jika sudah, aplikasi secara otomatis melakukan analisis data yang tadi di pilih pada bagian "Mapping" dan akan muncul hasil seperti berikut, (hasil tidak selalu sama bergantung pada data yang kita buat) kemudian jangan lupa klik "Next": 

7. Setelah Next disini kita bisa melihat hasil dari analisis otomatis dari aplikasi. Disini saya memilih domain "Email Address" sebagai contoh untuk mencoba untuk mengecek apakah ada data yang tidak valid / tidak cocok pada saat membuatnya, dengan cara pada bagian "Filter" saya memilih "Invalid" yaitu data yang tidak sesuai dengan ketentuan. Kemudian akan muncul data yang tidak sesuai dengan ketentuan.

8. Kemudian klik finish dan jangan lupa untuk di publish.

C. Melakukan Matching Policy

1. Langkah selanjutnya setelah melakukan knowledge discovery adalah melakukan matching policy yaitu dengan mengklik knowledge base yang kita buat lalu pilih "Matching Policy".

2. Kemudian akan berpindah halaman dan cara ini sama dengan cara sebelumnya yaitu memilih "Data Source" yang sama kemudian memilih file excel dan lakukan "Mapping" lakukan pencocokan source column yang berasal dari excel dengan Domain yang berasal dari knowledge base kemudian tekan "Next"

3. Setelah next,  pada bagian "Create Matching Policy" klik icon "+" lalu beri nama "Rule", pada bagian "Min. Matching score" digunakan untuk menuntukan hasil dari analisis yang di lakukan aplikasi, semakin tinggi persentase maka semakin tinngi tingkat kesamaan. Kemudian tambahkan domain sesuai yang kita butuhkan dengan meng-klik icon "+" pada bagian "Rule Editor". Pada bagian "Weight" total persentase harus 100% jika tidak, matching tidak akan bisa dijalankan. Terakhir klik "Start"

4. Kemudian analisis akan menampilkan score yang mempunyai nilai lebih dari sama dengan 80%, hasil tersebut di dapatkan dari hasil domain yang kita pilih tadi, contoh seperti kesamaan dalam Gender, Martial status, Job title, dll. pada tahap ini analisis menampilkan data yang terindikasi memiliki data yang sama. Jika sudah klik "Next".

5. Tahap selanjutnya yaitu melakukan analisis terhadap data yang benar-benar terdeteksi memiliki data yang sama. Yaitu bisa langsung meng-klik "Start". Jika sudah keluar hasilnya anda dapat melakukan review terhadap data tersebut. Jika sudah bisa di "Finish" dan jangan lupa untuk di publish.

D. Melakukan Cleansing Data

1. Pada tahap ini di gunakan untuk melakukan pengecekan data yang tidak sesuai yang kemudian akan di sesuaikan secara otomatis. Jika ada data yang sangat tidak cocok maka akan di tolak oleh aplikasi. Pertama, pada kolom Data Quality Projects pilih "New Data Quality Project". Kemudian Lakukan seperti dengan cara sebelumnya yaitu memilih "Data Source" yang sama kemudian memilih file excel dan lakukan "Mapping" lakukan pencocokan source column yang berasal dari excel dengan Domain yang berasal dari knowledge base. Lalu "Next".

2. Selanjutnya masuk ke dalam tahap analisis cleansing yaitu tekan "Start", jika proses sudah selesai langsung saja tekan "Next". 

3. Nah pada tahap ini anda bisa memeriksa data apa saja yang sudah dibenarkan dan mana data yang di tolak. Disini saya mengambil contoh pada domain "Job Title" yang mana mempunyai data "Corrected" sebanyak 11 data yang mempunyai arti bahwa yang di benarkan sebanyak 11 data. Jika sudah melakukan pemeriksaan data bisa langsung "Next".

4. Langkah terakhir yaitu melakukan "Export" dari hasil cleansing menjadi data Excel. Pada bagian "Destination Type" pilih jenis file hasil yang anda inginkan. Disini saya memilih "CSV File" karena CSV file yang cocok dengan DQS yang saya miliki. Kemudian beri nama filenya dan jika sudah klik "Export". Kemudian "Finish"

E. Melakukan Data Matching

1. Pada tahap ini tidak berbeda jauh dengan cleansing data perbedaannya pada saat pemilihan "Select Activity" yaitu memilih "Matching"

2. Kemudian melakukan pencocokan "Source Column" dengan Domain

3. Pada tahap ini langsung saja klik "Start" kemudian tunggu hasil dari matching, lalu "Next"

4. Tahap terakhir ini saya memilih CSV File pada bagian "Destination Type", kemudian centang "Matching result", lalu pilih lokasi file yang akan anda simpan. Terakhir "Finish".

 Nahh, sekian tutorial saya mengenai Matching dan Cleansing Data. Disini saya menempuh kuliah di Institut Bisnis dan Informatika STIKOM Surabaya Dan saya berterima kasih kepada dosen pengampu mata kuliah Kualitas Data pak Valentinus Roby Hananto, S.Kom., M.Sc., OCA. sehingga kita dapat sama-sama belajar jadi mohon di maaf kan jika ada kesalahan dalam pengetikan maupun langkah-langkah yang buat.