GSP651

Ringkasan

Di lab ini, Anda akan mempelajari cara mengontrol biaya BigQuery dengan mengubah kuota.

Yang akan Anda lakukan

• Mengkueri set data publik dan mempelajari semua biaya terkait.
• Mengubah kuota.
• Mencoba menjalankan kueri lagi setelah kuota diubah.

Harga BigQuery

BigQuery menawarkan beberapa opsi harga yang skalabel dan fleksibel untuk memenuhi kebutuhan teknis dan anggaran Anda.

Dengan BigQuery, Anda dapat dikenai biaya penyimpanan dan kueri. Di lab ini, Anda akan mempelajari biaya kueri. Untuk informasi lebih lanjut, lihat harga BigQuery.

Ada dua model harga untuk biaya kueri di BigQuery:

• On-demand: Harga on demand didasarkan pada jumlah data yang diproses dalam tiap kueri yang Anda jalankan. Ini adalah opsi yang paling fleksibel.

• Tarif tetap: Pelanggan yang memilih tarif tetap membeli resource khusus untuk pemrosesan kueri dan tidak dikenai biaya per kueri. Opsi ini dapat diprediksi dan merupakan opsi terbaik untuk pelanggan yang memiliki anggaran tetap.

Penyiapan

Di bagian ini, Anda akan mengakses konsol Google Cloud dan BigQuery.

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan berikut ini:

   • Tombol Open Google Console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Login.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username dari panel Lab Details dan tempel ke dialog Sign in. Klik Next.

4. Salin Password dari panel Lab Details dan tempel ke dialog Welcome. Klik Next.

   Penting: Anda harus menggunakan kredensial dari panel sebelah kiri. Jangan menggunakan kredensial Google Cloud Skills Boost. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

5. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Cloud Console akan terbuka di tab ini.

Catatan: Anda dapat melihat menu dengan daftar Produk dan Layanan Google Cloud dengan mengklik Menu navigasi di kiri atas.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas konsol Google Cloud.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke YOUR_PROJECT_ID

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

2. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

3. Klik Authorize.

4. Output Anda sekarang akan terlihat seperti ini:

Output:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net Untuk menyetel akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:

gcloud config list project

Output:

[core] project = <project_ID>

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Membuka konsol BigQuery

1. Di Google Cloud Console, pilih Navigation menu > BigQuery.

Kotak pesan Welcome to BigQuery in the Cloud Console akan terbuka. Kotak pesan ini menyediakan link ke panduan memulai dan catatan rilis.

2. Klik Done.

Konsol BigQuery terbuka.

Tugas 1. Mengkueri set data publik di BigQuery

Di lab ini, Anda akan mengkueri set data publik bigquery-public-data:wise_all_sky_data_release. Pelajari set data ini lebih lanjut dari postingan blog Mengkueri Bintang dengan GIS BigQuery.

1. Di Query editor, tempel kueri berikut:

   SELECT w1mpro_ep, mjd, load_id, frame_id FROM `bigquery-public-data.wise_all_sky_data_release.mep_wise` ORDER BY mjd ASC LIMIT 500

2. Jangan menjalankan kueri. Namun, jawab pertanyaan berikut ini:

Memproses data dalam jumlah besar tanpa kontrol biaya yang tepat, meskipun dengan kueri sederhana seperti yang tertera di atas, dapat menyebabkan munculnya tagihan tak terduga. Untuk mengelola tagihan semacam ini, pelajari cara kerja penetapan harga BigQuery dan cara menyiapkan kuota kustom untuk tim Anda.

3. Sekarang, jalankan kueri dan lihat seberapa cepat BigQuery memproses data sebanyak itu.

Klik Check my progress untuk memverifikasi tujuan.

Mengkueri set data publik di BigQuery

Tugas 2. Mempelajari biaya kueri

Gratis 1 TB data kueri pertama yang diproses tiap bulan.

• Pelajari biaya lebih lanjut dari panduan harga BigQuery.
• Untuk mengetahui informasi lebih lanjut tentang penghitungan dan penaksiran biaya di Google Cloud, gunakan Kalkulator Harga Google Cloud.

Tugas 3. Memperbarui kuota BigQuery

Dalam tugas ini, Anda akan memperbarui kuota BigQuery API untuk membatasi data yang diproses dalam kueri di project Anda.

1. Di Cloud Shell, jalankan perintah ini untuk melihat kuota penggunaan saat ini dengan BigQuery API:

gcloud alpha services quota list --service=bigquery.googleapis.com --consumer=projects/${DEVSHELL_PROJECT_ID} --filter="usage"

consumerQuotaLimits akan menampilkan batas kueri per hari Anda untuk saat ini. Ada kuota terpisah untuk penggunaan per project dan penggunaan per pengguna.

2. Jalankan perintah ini di Cloud Shell untuk memperbarui kuota per pengguna hingga 0,25 TiB per hari:

gcloud alpha services quota update --consumer=projects/${DEVSHELL_PROJECT_ID} --service bigquery.googleapis.com --metric bigquery.googleapis.com/quota/query/usage --value 262144 --unit 1/d/{project}/{user} --force

3. Setelah kuota diperbarui, periksa lagi consumerQuotaLimits Anda:

gcloud alpha services quota list --service=bigquery.googleapis.com --consumer=projects/${DEVSHELL_PROJECT_ID} --filter="usage"

Anda akan melihat batas yang sama dengan sebelumnya, tetapi juga consumerOverride dengan nilai yang digunakan pada langkah sebelumnya:

--- consumerQuotaLimits: - metric: bigquery.googleapis.com/quota/query/usage quotaBuckets: - defaultLimit: '9223372036854775807' effectiveLimit: '9223372036854775807' unit: 1/d/{project} - metric: bigquery.googleapis.com/quota/query/usage quotaBuckets: - consumerOverride: name: projects/33699896259/services/bigquery.googleapis.com/consumerQuotaMetrics/bigquery.googleapis.com%2Fquota%2Fquery%2Fusage/limits/%2Fd%2Fproject%2Fuser/consumerOverrides/Cg1RdW90YU92ZXJyaWRl overrideValue: '262144' defaultLimit: '9223372036854775807' effectiveLimit: '262144' unit: 1/d/{project}/{user} displayName: Query usage metric: bigquery.googleapis.com/quota/query/usage unit: MiBy

Selanjutnya, Anda akan menjalankan kembali kueri dengan kuota yang telah diperbarui.

Tugas 4. Menjalankan kembali kueri Anda

1. Di Konsol Cloud, klik BigQuery.

2. Kueri yang sebelumnya Anda jalankan seharusnya masih ada di editor kueri, tetapi jika tidak, tempel kueri berikut di Query editor, lalu klik Run:

   SELECT w1mpro_ep, mjd, load_id, frame_id FROM `bigquery-public-data.wise_all_sky_data_release.mep_wise` ORDER BY mjd ASC LIMIT 500

   Perhatikan bahwa validator masih menyebutkan This query will process 1.36 TB when run. Namun, kueri ini sudah berhasil dijalankan dan belum memproses data apa pun. Kira-kira apa penyebabnya?

Catatan: Jangan khawatir jika kueri Anda diblokir oleh kuota kustom. Kemungkinan Anda menetapkan kuota kustom dan menjalankan kembali kueri tersebut sebelum kueri pertama sempat meng-cache hasilnya.

Kueri yang menggunakan hasil kueri yang di-cache tidak dikenai biaya tambahan dan tidak mengurangi kuota. Untuk informasi lebih lanjut tentang penggunaan hasil kueri yang di-cache, lihat Menggunakan hasil kueri yang di-cache.

Agar dapat menguji kuota yang baru ditetapkan, Anda harus menonaktifkan cache kueri untuk memproses data menggunakan kueri sebelumnya.

3. Untuk menguji apakah kuota telah berubah, nonaktifkan hasil kueri yang di-cache. Di panel Query results, klik More > Query settings:

4. Hapus centang Use cached results dan klik Save.

5. Jalankan lagi kueri agar menghabiskan kuota harian Anda.

6. Setelah kueri berhasil dijalankan dan memproses 1,36 TB, jalankan sekali lagi.

   Apa yang terjadi? Apakah Anda dapat menjalankan kueri? Anda seharusnya menerima pesan error seperti berikut:

   Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerUserPerDay, which is set by your administrator. For more information, see https://cloud.google.com/bigquery/cost-controls

Klik Check my progress untuk memverifikasi tujuan.

Menjalankan kembali Kueri Anda

Tugas 5. Mempelajari praktik terbaik BigQuery

Kuota dapat digunakan untuk mengontrol biaya, tetapi besarnya kuota yang tepat untuk tim Anda tetap bergantung pada skala bisnis Anda. Ini hanyalah satu contoh cara menetapkan kuota untuk mencegah adanya biaya di luar dugaan. Satu cara untuk mengurangi jumlah data yang dikueri adalah dengan mengoptimalkan kueri Anda.

Pelajari cara mengoptimalkan kueri BigQuery lebih lanjut dari panduan Mengontrol biaya dalam BigQuery.

Selamat!

Di lab ini, Anda telah menyelesaikan tugas berikut:

• Mengkueri set data publik dan mempelajari semua biaya terkait.
• Mengubah kuota BigQuery API.
• Mencoba menjalankan kueri lagi setelah kuota diubah.

Menyelesaikan Quest Anda

Lab mandiri ini merupakan bagian dari Quest Optimizing your Google Cloud Costs di Qwiklabs. Quest adalah serangkaian lab terkait yang membentuk jalur pembelajaran. Dengan menyelesaikan Quest ini, Anda mendapatkan badge sebagai pengakuan atas pencapaian Anda. Anda dapat memperlihatkan satu atau beberapa badge kepada orang lain secara publik dan menautkannya di resume online atau akun media sosial Anda. Daftar ke Quest ini atau Quest apa pun yang berisi lab ini dan segera dapatkan kredit penyelesaian. Lihat Katalog Google Cloud Skills Boost untuk melihat semua Quest yang tersedia.

Ikuti lab berikutnya

Lanjutkan Quest Anda dengan Cloud Monitoring: Qwik Start atau lihat saran berikut:

• Cloud Functions: Qwik Start - Command Line
• Membersihkan Alamat IP yang Tidak Terpakai

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 10 Oktober 2023

Lab Terakhir Diuji pada 10 Oktober 2023

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.