Checkpoint
Create a Dataproc cluster
/ 50
Submit a job
/ 30
Update a cluster
/ 20
Dataproc: Qwik Start - Console
GSP103
Ringkasan
Cloud Dataproc adalah layanan cloud yang cepat, mudah digunakan, dan terkelola sepenuhnya untuk menjalankan cluster Apache Spark dan Apache Hadoop dengan cara yang lebih mudah dan murah. Operasi yang sebelumnya memerlukan waktu berjam-jam atau berhari-hari kini bisa dikerjakan dalam hitungan detik atau menit. Buat cluster Cloud Dataproc dengan cepat dan sesuaikan ukurannya kapan saja, sehingga Anda tidak perlu khawatir seandainya kapasitas cluster sudah mulai menipis akibat pipeline data.
Lab ini menunjukkan cara menggunakan Konsol Google Cloud untuk membuat cluster Google Cloud Dataproc, menjalankan tugas Apache Spark sederhana di cluster, lalu mengubah jumlah pekerja dalam cluster.
Penyiapan dan persyaratan
Sebelum mengklik tombol Mulai Lab
Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.
Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.
Untuk menyelesaikan lab ini, Anda memerlukan:
- Akses ke browser internet standar (disarankan browser Chrome).
- Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.
Cara memulai lab dan login ke Google Cloud Console
-
Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan berikut ini:
- Tombol Open Google Console
- Waktu tersisa
- Kredensial sementara yang harus Anda gunakan untuk lab ini
- Informasi lain, jika diperlukan, untuk menyelesaikan lab ini
-
Klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Login.
Tips: Atur tab di jendela terpisah secara berdampingan.
Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account. -
Jika perlu, salin Username dari panel Lab Details dan tempel ke dialog Sign in. Klik Next.
-
Salin Password dari panel Lab Details dan tempel ke dialog Welcome. Klik Next.
Penting: Anda harus menggunakan kredensial dari panel sebelah kiri. Jangan menggunakan kredensial Google Cloud Skills Boost. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan. -
Klik halaman berikutnya:
- Setujui persyaratan dan ketentuan.
- Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
- Jangan daftar uji coba gratis.
Setelah beberapa saat, Cloud Console akan terbuka di tab ini.
Pastikan Cloud Dataproc API diaktifkan
Untuk membuat cluster Dataproc di Google Cloud, Cloud Dataproc API harus diaktifkan. Untuk memastikan bahwa API sudah diaktifkan:
-
Klik Navigation menu > APIs & Services > Library:
-
Ketik Cloud Dataproc dalam dialog Search for APIs & Services. Konsol akan menampilkan Cloud Dataproc API dalam hasil penelusuran.
-
Klik Cloud Dataproc API untuk menampilkan status API. Apabila API belum diaktifkan, klik tombol Enable.
Apabila API sudah diaktifkan, Anda siap memulai:
Tugas 1. Membuat cluster
-
Di Konsol Cloud Platform, pilih Navigation menu > Dataproc > Clusters, lalu klik Create cluster.
-
Klik Create untuk Cluster on Compute Engine.
-
Tetapkan kolom berikut untuk cluster Anda dan terima nilai default untuk semua kolom lainnya:
Kolom | Nilai |
---|---|
Name | example-cluster |
Region | |
Zone | |
Machine Series | E2 |
Machine Type | e2-standard-2 |
Max Worker Nodes | 2 |
us-central1
atau europe-west1
, untuk mengisolasi resource (termasuk instance VM dan Cloud Storage) serta lokasi penyimpanan metadata yang digunakan Cloud Dataproc dalam region yang ditentukan oleh pengguna.
- Klik Create untuk membuat cluster.
Cluster baru akan muncul dalam daftar Clusters. Mungkin butuh waktu beberapa menit untuk membuatnya, Status cluster akan ditampilkan sebagai Provisioning sampai cluster siap digunakan. Status kemudian akan berubah menjadi Running.
Uji tugas yang sudah selesai
Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.
Tugas 2. Mengirim tugas
Untuk menjalankan sampel tugas Spark:
-
Klik Jobs di panel kiri untuk beralih ke tampilan tugas Dataproc, lalu klik Submit job:
-
Tetapkan kolom berikut untuk memperbarui Job. Setujui nilai default untuk semua kolom lainnya.
Kolom | Nilai |
---|---|
Region | |
Cluster | example-cluster |
Job type | Spark |
Main class or jar | org.apache.spark.examples.SparkPi |
Jar files | file:///usr/lib/spark/examples/jars/spark-examples.jar |
Arguments | 1.000 (Ini menetapkan jumlah tugas.) |
- Klik Submit.
Tugas akan muncul dalam daftar Jobs, yang menampilkan tugas project Anda beserta cluster, jenis, dan status terkini. Status tugas akan ditampilkan sebagai Running, lalu menjadi Succeeded setelah tugas selesai.
Uji tugas yang sudah selesai
Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.
Tugas 3. Melihat output tugas
Untuk melihat output tugas yang sudah selesai:
-
Klik ID pekerjaan di daftar Jobs.
-
Pilih LINE WRAP ke
ON
atau scroll ke ujung kanan untuk melihat nilai Pi yang dihitung. Output Anda, dengan LINE WRAPON
, akan terlihat seperti ini:
Tugas Anda berhasil menghitung perkiraan nilai untuk pi!
Tugas 4. Mengupdate cluster
Untuk mengubah jumlah worker instance di cluster:
-
Pilih Clusters di panel navigasi sebelah kiri untuk kembali ke tampilan Cluster Dataproc.
-
Klik example-cluster di daftar Clusters. Secara default, halaman tersebut menampilkan ringkasan penggunaan CPU cluster Anda.
-
Klik Configuration untuk menampilkan setelan cluster Anda saat ini.
-
Klik Edit. Jumlah worker node kini dapat diedit.
-
Masukkan 4 di kolom Worker nodes.
-
Klik Save.
Cluster Anda berhasil diupdate. Periksa jumlah instance VM dalam cluster.
Uji tugas yang sudah selesai
Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.
-
Untuk menjalankan kembali tugas dengan cluster yang telah diupdate, klik Jobs di panel kiri, lalu klik SUBMIT JOB.
-
Tetapkan kolom yang sama seperti pada bagian Mengirim tugas:
Kolom | Nilai |
---|---|
Region | |
Cluster | example-cluster |
Job type | Spark |
Main class or jar | org.apache.spark.examples.SparkPi |
Jar files | file:///usr/lib/spark/examples/jars/spark-examples.jar |
Arguments | 1.000 (Ini menetapkan jumlah tugas.) |
- Klik Submit.
Tugas 5. Menguji pemahaman Anda
Di bawah ini terdapat beberapa pertanyaan pilihan ganda untuk memperkuat pemahaman Anda tentang konsep lab ini. Jawab pertanyaan tersebut sebaik mungkin.
Selamat!
Anda kini sudah memahami cara menggunakan Konsol Cloud untuk membuat dan memperbarui cluster Dataproc, serta mengirim tugas dalam cluster tersebut.
Selesaikan Quest Anda
Lab mandiri ini adalah bagian dari quest Baseline: Data, ML, AI and Data Engineering. Quest adalah serangkaian lab terkait yang membentuk jalur pembelajaran. Dengan menyelesaikan Quest, Anda mendapatkan badge sebagai pengakuan atas pencapaian Anda. Anda dapat menunjukkan satu atau beberapa badge kepada orang lain secara publik dan menautkannya di resume online atau akun media sosial Anda. Daftarkan diri Anda dalam Quest apa pun yang berisi lab ini dan segera dapatkan kredit penyelesaian. Lihat Katalog Google Cloud Skills Boost untuk melihat semua quest yang tersedia.
Langkah berikutnya/Pelajari lebih lanjut
Lab ini juga merupakan bagian dari rangkaian lab yang disebut Qwik Start. Lab ini dirancang agar Anda dapat mencoba berbagai fitur yang tersedia dengan Google Cloud. Telusuri "Qwik Start" di katalog lab untuk menemukan lab berikutnya yang ingin Anda ikuti.
Sertifikasi dan pelatihan Google Cloud
...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.
Manual Terakhir Diperbarui pada 10 Agustus 2023
Lab Terakhir Diuji pada 30 Agustus 2023
Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.