Modul 7 - Catatan Storage di AWS

Modul 7: Storage di AWS

Pada sesi kelima ini, kita akan membahas dua modul penting terkait penyimpanan data secara umum dan bagaimana mengorganisasinya dengan storage untuk database.

Layanan Storage AWS

Modul 7 membahas empat layanan storage AWS:

1. Block Storage (EBS)

2. Simple Storage Service (S3)

3. Elastic File System (EFS)

4. S3 Glacier

Aktivitas Modul

Ada 27 faktor modul 7 yang harus diselesaikan:

• Web terkait dengan GPS

• Bentuk modul (mengecek)

Menyelesaikan modul akan memberi centang hijau sebagai tanda selesai.

Tujuan Pembelajaran

• Memahami berbagai tipe storage.

• Memahami apa itu S3 dan bagaimana menggunakannya dengan EC2 Instances (EBS).

• Menjelaskan GPS dan fungsionalitasnya.

• Memahami S3 Glacier dan fungsionalitasnya.

Core Layanan AWS

Layanan AWS meliputi:

• Networking (VPC)

• Komputasi (EBS)

• Storage (empat layanan)

• Database (dua layanan atau lebih)

Elastic Block Storage (EBS)

EBS dapat dianalogikan sebagai virtual hard disk di cloud. Biasanya di-attach ke EC2 instance agar bisa digunakan.

Keuntungan EBS

• Skalabilitas kapasitas dan performa.

• Memanfaatkan global infrastructure AWS.

• Replikasinya bisa diletakkan di satu atau lebih Availability Zone (AZ).

Block vs. Object Storage

EBS mewakili block storage, sementara S3 adalah object storage.

• Block Storage (EBS): Menyimpan file dalam sektor dan blok. Perubahan hanya memengaruhi bagian yang diubah.

• Object Storage (S3): Menyimpan data sebagai objek. Setiap update memerlukan update keseluruhan file.

Block storage umumnya lebih cepat dan menggunakan bandwidth lebih sedikit.

Penggunaan EBS

• Membuat individual volume terpisah.

• Meningkatkan level bukti dengan verifikasi.

• Menyimpan snapshot di S3 sebagai backup.

Penggunaan Utama EBS

• Boot volume untuk EC2 instance.

• Standard storage untuk penyimpanan data online.

• Datastore untuk virtual system.

• Cache untuk database.

Tipe EBS Volume

Ada tiga opsi jenis penyimpanan dari EBS:

1. Solid State Drive (SSD)

• Umum digunakan sebagai tempat penyimpanan.

• Dua tipe: General Purpose SSD dan Provisioned IOPS SSD.

Perbandingan General Purpose SSD vs. Provisioned IOPS SSD

Persyaratan untuk mencapai maksimum IOPS harus dipenuhi, seperti menggunakan instance yang didukung block storage.

General Purpose SSD

• GP3 dan GP2 memiliki sedikit perbedaan.

• GP3: Throughput hingga 1.000 megabit per second.

• GP2: Throughput sekitar 250 megabit per second.

Provisioned IOPS SSD

• Throughput bisa mencapai 4.000 megabit per second.

• IOPS bisa didapatkan sampai 1.000.

2. EBS Hard Disk Drive (HDD)

• Fokus pada volume besar.

• Opsi jika membutuhkan volume besar; magnetic.

Perbandingan HDD

• Optimized throughput.

• Kecepatan input output per detik tidak terlalu tinggi.

Tipe Lainnya

• Data warehouse

• Allah Processing

• Data jarang diakses (cold).

Membutuhkan storage dengan harga yang paling rendah (paling murah).

Pemilihan tipe EBS tergantung pada kebutuhan IOPS dan throughput.

• Provisioned IOPS: Untuk aplikasi bisnis yang membutuhkan IOPS tinggi (lebih dari 16.000).

• General Purpose: Sistem boot volume, portal desktop, aplikasi interaktif dengan low latency.

HDD tidak bisa digunakan untuk boot volume EC2; hanya SSD.

Fitur EBS

• Snapshot untuk backup dan membuat volume baru berdasarkan backup.

• Encryption tersedia secara default.

• Elastisitas: Mudah meningkatkan kapasitas dan merubah tipe volume.

• Resize tanpa mematikan instance.

• Independen dari instance dan dapat di-attach atau di-detach.

Biaya EBS

Komponen pembiayaan:

• IOPS (General Purpose atau Provisioned)

• Snapshot per GB per bulan

• Data transfer (inbound gratis, outbound cross-region berbayar)

Club dan Demo

Demonstrasi tentang EBS, S3 dan YKK (persisten sama block storage).

Rangkuman EBS

• Dua jenis tipe EBS (HDD dan SSD).

• Pembagian tipe (General Purpose atau Provisioned).

• Replikasinya (AZ yang sama, Data Center yang berbeda).

• Encryption secara default.

• Elastisitas (ukuran dan tipe volume bisa dirubah).

• Backup (menggunakan snapshot yang disimpan di S3).

Aktivitas Web (EBS)

1. Buat EC2 instance.

2. Buat volume dan attach ke instance.

3. Buat snapshot.

Instruksi

1. Buat EBS volume.

2. Attach volume ke instance.

3. Koneksi ke EC2 instance (download .pem untuk Windows).

4. Konfigurasi file system.

5. Buat snapshot.

Buat volume berdasarkan snapshot (isi volume akan identikal).

EBS tidak ada layanan web secara spesifik; diarahkan melalui EC2. Ada di bagian volume Elastic Doctor.

Simple Storage Service (S3)

S3 sebagai object storage tingkat lanjut. Data disimpan sebagai objek dalam file.

Konsep S3

• Membuat bucket (penampung objek).

• Kapasitas virtually unlimited.

• Tidak ada batasan jumlah objek dalam bucket.

• Ukuran objek maksimal 5 terabyte.

Durabilitas S3 Standar

$99.999999999\%$, yang berarti mendekati 100%.

Pengaturan Akses

Akses ke bucket dan objek bisa diatur secara detail (mulai dari bucket hingga objek tertentu).

Objek S3

Objek bisa berupa file apapun (gambar, video, log, program, kompresi ZIP, dll.). Snapshot database juga bisa disimpan sebagai objek di S3.

Akses S3

• AWS Management Console

• API

• AWS Command-Line Interface

Menggunakan endpoint untuk komunikasi antara resource di VPC tanpa melalui public internet.

Storage Class S3

• Standard

• Ohin terjun payung

• Kristandar dengan akses yang mungkin

• Warzone

• S3 Glacier

• S3 Archive

Standar akan direplikasi di lebih dari satu zone. S3 ambil lebih dari satu sound. Storage class S3 disimpan di single (mengurangi durabilitas).

Biaya Storage Class

• Paling tinggi: Standar

• Paling murah: Deep Freeze

Proses Akses Bucket

Banyak game menentukan bahwa objek yang diakses ada di bucket. Bucket bukan hal yang fisikal; hanya kontainer logikal untuk objek.

Kita membuat batasan antara objek menggunakan bucket. Misalnya, bucket untuk photos, AWS, aset, dll.

Keunggulan Durabilitas

Data direplikasi di Data Center yang lain dalam region yang sama. Jika ada masalah di satu fasilitas, data tetap bisa diakses dari replika.

Akses Tanpa Bottleneck

S3 memastikan tidak ada bottleneck walaupun banyak user mengakses data yang sama.

Metode Akses S3

Standar seperti layanan servis yang lainnya.

• Konsol

• Kyle fakta

• SDG secara program

Masing-masing bisa digunakan dari program dan acara aksesnya.

Operasi S3

Berupa input, copy, update, delete untuk melakukan operasi terhadap objek di dalam bucket di S3.

Penggunaan S3

• Tutorial PKNS FC atau web Asep (skala otomatis dan handle request).

• Lead with Asep.

• Web hosting (file HTML dan static content seperti CSS, JavaScript).

• Backup (snapshot EBS dan RDS).

• Staging area for big data (sebelum processing).

• Pusat media (video atau music).

Pricing S3

Menganut paham PDI-P (untuk apa yang kita gunakan). Komponennya:

• GB yang dipakai per bulan

• Proses move

• Transfer out

• Request nyeri aja

Kemudian request untuk melakukan modifikasi di objek.

Tidak termasuk pot copy, pos untuk membuat objek baru. Transfer dari S3 ke cloud front di dalam region yang sama: gratis.

Ini sama pada saat kita upload ke S3, itu tidak akan masuk. Kemudian transfer dari S3 ke cloud front, ataupun di situ dalam region yang sama.

Estimasi Biaya

Gunakan antifashion kalkulator untuk estimasi biaya per bulan.

Faktor lain: waktu akses, jumlah storage, dan jumlah request.

Extrimnya, itu yang akan masuk dalam komponen biaya S3.

Elastic File System (EFS)

Network File System (NFS) untuk proses storage yang diakses dalam jaringan dan oleh lebih dari satu komputer. Konsepnya serupa dengan storage yang digunakan bersama oleh beberapa instance. Supportnya ya met operasi sistem versi 40 dan 41. Dan hanya tersedia untuk yang Linux-based saja.

Keunggulan

Shared storage antara beberapa EC2 instance dengan visi tulisannya itu Linux-based.

Arsitektur

• EFS diletakkan dalam VPC.

• Konfigurasi mount point di beberapa EC2 instance.

• Mount target diletakkan di masing-masing AZ.

• EC2 instance mengakses mount target untuk mengakses storage EFS.

Langkah-langkah Membuat EFS

1. Buat dulu isi turis OS-nya.

2. Launch EC2 instance (lebih dari satu).

3. Buat EFS.

4. Buat motor games nanti di masing-masing subnet (arahkanke AZ).

5. Koneksikan dari instance ke mount target dan verifikasi akses.

Informasi Mount Target

Termasuk santai diskotik grup, difusi subnet, dan harus berada di divisi yang sama dalam VPC.

S3 Glacier

Kelas di S3 untuk pengarsipan data dengan durabilitas yang sama dengan S3 standar dan harga rendah. Bertujuan untuk pengarsipan data. Mendukung protokol kriptografi (T56 kitab kembali).

Vault (Kontainer)

Menggunakan vault sebagai kontainer (bukan bucket seperti S3 standar). Spesifikasikan nama vault dan region.

Fitur Outlook

Ditujukan untuk pengarsipan jangka panjang untuk menyimpan dalam S3 Glacier dan ada tiga jenis.

• Expedited (1-5 menit)

• Standard (3-5 jam)

• Bulk (maksimal 12 jam)

Proses Pengambilan Data

Berbeda dengan S3 standar (langsung dapat dalam hitungan detik). S3 Glacier memerlukan waktu minimal 1 menit (expedited).

Biaya S3 Glacier

• Tertinggi: Expedited

• Terendah: Bulk

Kita bisa atur deh menggunakan website. Lifecycle achieving, jadi kita bisa mengatur biasanya.

Penggunaan S3 Glacier

• Data medis (rekam medis)

• Data saintifik (preservasi digital)

• Menggantikan sistem pengarsipan lama (magnetik step)

Memanfaatkan psyche dan ada lifecycle polisi-polisi ini yang akan memindahkan. YouTube memindahkan dari S3. Kalau sudah 30 hari data disebut data Destri. Andi pindahkan es krimnya. Itu bisa digunakan sebagai Glacier.

Twilight Sparkle polisinya kita bisa terus 1 tahun setelah dia di ini. Udah di priaku saja datanya maksimum dikatakan oleh aturan maksimum menyimpan data selama setahun. Satu seperti itu. Ini comparison-nya secara head to head antara S3 dan S3 Glacier. Level atensinya atau pada saat kita mengakses. Ya, kalau S3 kami dengan bukan.

Perbandingan S3 dan S3 Glacier

Keunggulan S3 Glacier

• Durabilitas tinggi.

• Use case: Long-term assistance.

Contoso basanti sedikit dan 0xc.

Suatu perusahaan mau menyimpan data tapi data tidak terlalu sering diakses. Layanan terbaik untuk kasus ini adalah S3 Glacier (dari opsi yang ada).

Kwik banyak adalah impostors. Apa yang bisa dilakukan.

Dokumentasi lengkap di docx.com amazon.com tentang S3 Glacier dan S3.