Minggu, 18 Oktober 2015

Data Warehouse dan Data Mart

MADE BAGUS WINANDA RADITYATAMA / 1304505116
JURUSAN TEKNOLOGI INFORMASI / FAKULTAS TEKNIK /
UNIVERSITAS UDAYANA
DATA WAREHOUSE
DOSEN : I PUTU AGUS EKA PRATAMA, S.T., M.T.

Data warehouse adalah gabungan dari data mart yang berada pada bagian perusahaan atau di bagian organisasi.
data mart adalah lapisan akses dari data warehouse lingkungan yang digunakan untuk mendapatkan data keluar bagi pengguna. Data mart juga menangani sebuah bisnis proses, seperti penjualan.

Data Warehouse vs Data Transaksi
Tabel di bawah menampilkan penggunaan OLAP dan OLTP yang dimana data warehouse terpisah dengan database.


Arsitektur Data Warehouse Multi-Tiered


Gambar diatas merupakan arsitektur data warehouse multi-tiered yang memiliki 4 bagian tahapan proses yaitu.

1. Data Source
    Yaitu proses pengumpulan data  seperti database, file, aplikasi dan dokumen dimana pada proses ini dilakukan integrasi data dari berbagai sumber data tersebut.

2. Data Storage
    Yaitu proses penyimpanan data ke dalam data warehouse yang melakukan proses ekstraksi data source dengan ETL atau ELT. Pada tahap data storage meliputi yaitu  :

a) Extraction, Transformation and Loading (ETL)
     ETL merupakan proses pengekstrakan data dari sumber data yang kemudian data ditransformasikan (data dipilah berdasarkan pengelompokan data), selanjutnya data diload atau dimasukkan ke dalam data warehouse. ETL dilakukan secara periodik untuk kebutuhan bisnis dengan analisa data yang akurat. Menggunakan Data Transformation Service (DTS) dari MS SQL Server

b)  Extraction, Loading and Transformation (ELT)
      ELT merupakan kebalikan dari ETL dimana dalam ELT dilakukan proses pengekstrakan data dari sumber data, setelah itu data diload atau dimasukkan ke dalam data warehouse,.kemudian data ditransformasikan (data dipilah berdasarkan pengelompokan data).

c) Data Warehouse
    data-data yang beorientasi subjek, terintegrasi, memiliki dimensi waktu, serta merupakan koleksi tetap (non-volatile), yang digunakan dalam mendukung proses pengambilan keputusan. Sedangkan data mining muncul setelah banyak dari pemilik data baik perorangan maupun organisasi mengalami penumpukan data yang telah terkumpul selama beberapa tahun, misalnya data pembelian, data penjualan, data nasabah, data transaksi, email dan sebagainya. Kemudian muncul pertanyaan dari pemilik data tersebut, apa yang harus dilakukan terhadap tumpukan data tersebut.

d) Metadata 
    informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data

3. OLAP Engine
    OLAP Engine adalah proses analisis data dimana data yang telah ada pada data warehouse diolah dalam OLAP server dan data tersebut juga dapat dianalisis pada aplikasi OLAP (Online Analytical Processing) untuk membantu dalam pengambilan keputusan, OLAP sebagai sebuah pendekatan untuk merespon dengan cepat permintaan analisis multi-dimensi dalam business intelligent seperti penjualan, pemasaran, penganggaran dan peramalan, pelaporan manajemen, manajemen proses bisnis, pelaporan keuangan dan lainnya. Output dari query OLAP ditampilkan sebagai sebuah matriks.

4. Output
    Tahap terahir dari arsitektur data warehouse multi-tiered dimana server OLAP akan menghasilkan data yang dapat digunakan sebagai informasi, reporting, query  dan data mining yang dapat digunakan oleh user misalnya data mining dapat digunakan baik secara individu maupun kelompok sebagai Decision Support System (DSS), business intelligent (BI) dan big data.

DAFTAR PUSTAKA
Agus Eka Pratama, S.T.,M.T, I Putu. 2014. Smart City Beserta Cloud Computing dan
Teknologi-Teknologi Pendukung Lainnya. Bandung: Informatika.
https://id.wikipedia.org/wiki/Metadata
https://rully6092.wordpress.com/data-mining-data-warehouse/
http://datawarehouse12.blogspot.co.id/2014/12/data-warehouse-oltp-dan-olap-fact-dan.html
http://uncualisenak.blogspot.co.id/2013/01/data-warehouse-data-mart-data-mining.html


Minggu, 11 Oktober 2015

BIG DATA DAN DATA WAREHOUSE PADA ORACLE DATABASE 12C

MADE BAGUS WINANDA RADITYATAMA / 1304505116
JURUSAN TEKNOLOGI INFORMASI / FAKULTAS TEKNIK /
UNIVERSITAS UDAYANA
DATA WAREHOUSE
DOSEN : I PUTU AGUS EKA PRATAMA, S.T., M.T.

Pengertian Data Warehouse
adalah suatu sistem komputer untuk mengarsipkan dan menganalisis data historis suatu organisasi seperti data penjualan, gaji, dan informasi lain dari operasi harian. Pada umumnya suatu organisasi menyalin informasi dari sistem operasionalnya (seperti penjualan dan SDM) ke gudang data menurut jadwal teratur, misalnya setiap malam atau setiap akhir minggu.
menurut para ahli mengenai data warehouse yaitu.

  • Menurut W.H. Inmon dan Richard DH, data warehouse adalah kumpulan data yang memiliki sifat subjek berorientasi, terpadu, waktu-varian, dan tetap pada pengumpulan data untuk mendukung proses pengambilan keputusan manajemen .
  • Menurut Vidette Poe, data warehouse adalah database yang read-only analisis dan digunakan sebagai dasar sistem pendukung keputusan.

  • Menurut Paul Lane, data warehouse merupakan database relasional yang dirancang lebih untuk query dan analisis proses transaksi, biasanya mengandung sejarah data transaksi dan mungkin juga data dari sumber lain. Data warehouse memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan organisasi untuk menggabungkan / konsolidasi data dari berbagai sumber.

Pengertian Big Data
Big Data adalah sebuah teknologi baru di dunia teknologi informasi dimana memungkinan proses pengolahan, penyimpanan dan analisis data dalam beragam bentuk/format, berjumlah besar dan pertambahan data yang sangat cepat. Pengolahan dan analisis data dalam jumlah sangat besar ini memerlukan waktu yang relatif jauh lebih singkat dengan menggunakan Big Data dibanding teknologi data sebelumnya, misalnya. database relational seperti MySQL.
Ciri-ciri data yang ditangani oleh Big Data:
  1. Jumlah nya sangat besar (Volume). Biasanya ukuran total data dalam terabytes keatas.
  2. Pertumbuhan data sangat cepat (Velocity) sehingga data bertambah dalam jumlah yang sangat banyak dalam kurun waktu relatif singkat.
  3. Bentuk atau format datanya beraneka ragam (Variety). Format disini bisa berupa data dalam tabel-tabel relasional database seperti MySQL, file text biasa, File Excel atau bentuk apapun.
Manfaat yang bisa diberikan dari Big Data antara lain bisa memberikan gambaran yang lebih lengkap dari sebelumnya karena biasanya data yang dianalisis adalah data terstruktur misalnya data relasional database.
Contoh skenario dimana Big Data digunakan misalnya adalah pemanfaatan data dari social media, twitter, facebook dsbnya dipadukan dengan data dari perusahaan sendiri misalnya data dari penjualan atau data pelanggan yang sudah ada di relasional database. Dengan demikian bisa didapatkan analisis untuk melakukan strategi marketing yang jitu. Misalnya dengan menganalisis orang-orang di social media yang berpengaruh untuk memasarkan produk.
Contoh real dimana Big Data benar-benar dinikmati manfaatnya adalah sebuah startup bernama Klarna. Klarna adalah startup dari Swedia yang memberikan pelayanan semacam micro financing untuk e-commerce. Yang ditawarkan Klarna adalah pembeli online bisa langsung beli barang online tanpa membayar langsung. barang akan dikirimkan ke alamat pembeli. Selanjutnya  pembeli diberi waktu untuk membayar barang jika dia sukai dengan barang yang dikirim atau mengembalikan barang tersebut jika tidak disukai.

Big Data pada Oracle Database 12c dan Oracle Exadata
Arsitektur big data  dapat membantu pengguna bisnis untuk  menganalisa data dengan cara memanfaatkan dan mengakses data warehouse. Oracle Database 12c  menyediakan platform yang komprehensif untuk data warehousing yang menggabungkan industri terkemuka yang memiliki skalabilitas dan kinerja, analisis yang saling terintegrasi dalam satu platform yang berjalan pada konfigurasi hardware yang telah dioptimalkan.

a. Exadata
Oracle Exadata Database Machine dirancang untuk memberikan database yang optimal untuk setiap perusahaan database, arsitektur Exadata juga menyediakan solusi penyimpanan yang dioptimalkan unik untuk data warehousing yang memberikan keuntungan untuk skala besar permintaan data warehouse dan penyimpanan data yang efisien.
b.  Query Performance
Oracle menyediakan optimasi kinerja untuk setiap jenis data warehouse. Beban kerja data warehouse lebih  kompleks, dengan pengguna yang berbeda menjalankan operasi yang sangat berbeda, dengan harapan sama untuk kinerja query. Oracle memenuhi tuntutan kinerja data warehouse dengan menyediakan satu set teknik optimasi untuk setiap jenis query dan beban kerja:
c.  Oracle Database In-Memory
Oracle Database In Memori menangani persyaratan seperti interaktif, permintaan real-time. Membaca data dari memori lebih cepat daripada membaca dari disk, tapi itu hanya bagian dari manfaat kinerja In-Memory dimana Oracle meningkatkan performa query pada memori melalui teknik kinerja memori yang dioptimalkan seperti pengolahan vektor dan algoritma agregasi dalam memori baru.
d.  OLAP
Oracle OLAP meningkatkan data warehouse dengan meningkatkan kinerja query dimana dikelola dalam database Oracle berbentuk kubus sebagai data dalam format multidimensi yang sangat optimal, penyimpanan scalable dan kemampuan untuk menghitung atau menyimpan perhitungan analisis yang lebih canggih.
e.  Data Management
Data  menjadi database terbesar dalam sebuah organisasi IT yang menyajikan berbagai tantangan pengelolaan data dari basis data OLTP. Oracle menyediakan keuntungan yang unik untuk menjalankan data warehouse Oracle online, dengan semua data yang tersedia.


DAFTAR PUSTAKA
https://openbigdata.wordpress.com/2014/08/25/apa-itu-big-data/
http://www.dosenpendidikan.com/10-pengertian-data-warehouse-menurut-para-ahli/
https://id.wikipedia.org/wiki/Gudang_data