Selamat Datang di Dokumentasi BigBang - HPC DIKE - DLRC - UGM

Halaman ini adalah dokumentasi untuk BigBang, sistem High Performance Computing (HPC) di Departemen Ilmu Komputer dan Elektronika (DIKE), Universitas Gadjah Mada. HPC ini dikelola oleh Deep Learning Research Centre (DLRC) di bawah departemen IKE. Saat ini, BigBang dapat digunakan oleh sivitas akademika Departemen Ilmu Komputer dan Elektronika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Gadjah Mada.

Tip

Bila ada pertanyaan terkait dengan layanan HPC, mohon kontak langsung kepada bagian Helpdesk HPC - DIKE UGM melalui dlrcugm@gmail.com.

Tentang DLRC - UGM

Deep Learning Research Centre (DLRC) adalah sebuah pusat riset di bidang Deep Learning dan aplikasinya dalam berbagai macam domain. Selain riset, DLRC secara rutin juga mengadakan pelatihan terkait Deep Learning dan penggunaan HPC (High Performance Computing).

Saat ini DLRC memiliki beberapa divisi yaitu:

  1. Divisi Manajemen HPC

  2. Divisi Penelitian

  3. Divisi Talent dan Training

  4. Divisi Humas

  5. Divisi Inovasi dan Produk

Tentang BigBang

BigBang merupakan sistem High Performance Computing (HPC) yang dimiliki oleh Departemen Ilmu Komputer dan Elektronika (DIKE), Universitas Gadjah Mada. Saat ini, BigBang terdiri dari 2 yaitu:

  • BigBang Solis

  • BigBang Luna

BigBang Solis

BigBang Solis memiliki spesifikasi sebagai berikut:

GPU

  • 4x GPU Geforce GTX 1080 Ti, RAM @16GB

  • 3x GPU Geforce GTX 2080 Ti, RAM @32GB

  • 1x GPU Geforce GTX 1070 Ti, RAM 16GB

  • 1x GPU Geforce RTX 2070, RAM 16GB

BigBang Luna

BigBang Luna dimiliki oleh DIKE di akhir tahun 2021 dengan spesifikasi sebagai berikut:

GPU

  • GPUs 8x NVIDIA A100 HPC 40GB and AI Compute FP64/TF32*/FP16*/INT8*156TF/2.5PF*/5PF*/10POPS*

  • Total GPUs Memory 320 GB

  • NVIDIA NVLink 3rd generation

  • NVIDIA NVSwitch 2nd generation

  • NVIDIA NVSwitch GPU-to-GPU Bandwidth 600 GB/s

  • Total Aggregate Bandwidth 4.8 TB/s

CPU

  • Dual AMD Rome 7742, 128 cores total, 2.25 GHz (base), 3.4 GHz (max boost)

System Memory

  • 1TB

Networking

  • 8x Single-Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand

  • 1x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200Gb/s

  • Ethernet

Storage

  • OS: 2x 1.92TB M.2 NVME drives

  • Internal Storage: 15TB (4x 3.84TB) U.2 NVME drives

Software

  • DGX OS 5.4 (Ubuntu Linux OS 20.04.4)

  • Nvidia-Driver version 470.141.03

  • CUDA version 11.4

  • NVIDIA Deepops version 22.08

  • Kubernetes version 1.23.4

  • Kubeflow version v1.6.0

  • Standard Image (repo dari https://docker.io):

    • kubeflownotebookswg/jupyter-tensorflow-cuda-full:v1.6.0 (Cuda version 11.2)

    • kubeflownotebookswg/jupyter-pytorch-cuda-full:v1.6.0

    • kubeflownotebookswg/rstudio-tidyverse:v1.6.0

    • kubeflownotebookswg/codeserver-python:v1.6.0

    • kubeflownotebookswg/tensorboards-web-app:v1.6.0

  • Custom Image

SOP Penggunaan Fasilitas BigBang

BigBang Luna

Note

User yang akan menggunakan BigBang Luna, harus memastikan kode yang akan di-running sudah free dari error. Sehingga bisa memaksimalkan slot waktu yang diberikan.

BigBang Luna, dialokasikan penggunaannya untuk dosen DIKE, dosen kolaborator serta mahasiswa pascasarjana (S2 ILKOM/S2 MKA/S3 ILKOM) di lingkungan Departemen Ilmu Komputer dan Elektronika, FMIPA, UGM. Untuk menggunakan fasilitas ini, user harus mendaftar terlebih dahulu melalui SI HPC (silahkan cek step-stepnya di bagian Permohonan). Berikut ini adalah SOP penggunaan BigBang Luna:

  • By default, setiap user akan mendapatkan 1 GPU, 24 Core CPU, memory 64 GB dan storage 20GB

  • Maksimal penggunaan resource adalah 2 hari kalender (2x24 jam). Waktu dihitung mulai dari diberikan akses ke fasilitas.

  • Pada masa penggunaan, setiap harinya user wajib mensubmit progress report via link berikut Submit Progress Report. Report ditulis dengan menggunakan Template Progress Report ini.

  • Setiap harinya, penggunaan BigBang Luna akan dimonitor apakah idle/utilitas rendah

  • Jika idle/utilitas rendah pada saat monitoring dan belum mensubmit progress report sampai pukul 23.00, maka service akan di-disable per pukul 10.00 (di hari dan jam kerja berikutnya)

  • Jika user yang sudah menggunakan resource selama 2 hari dan aktif mengupload progress report, meminta tambahan waktu, maka akan dicek:

    1. Ada slot kosong/tidak

    2. Ada antrian atau tidak

    3. Jika ada slot kosong/tidak ada antrian, bisa diperpanjang dengan mempertimbangkan progress, akan ditambahkan 2 hari lagi.

  • Pengajuan tambahan waktu bisa dilakukan dengan mengisi poin perpanjangan waktu ketika mensubmit progress report di hari ke-2.

  • Setelah 2 hari pemakaian, user akan menerima notifikasi via e-mail jika masa pemakaian sudah habis dan akun akan di-disable.

  • Jika 8 slot user DGX sudah full, dan ada request user baru, maka request akan masuk antrian list` dengan sistem FCFS (First Come First Serve).

  • Jika terjadi mati listrik/masalah teknis lain, admin tidak bertanggung jawab terhadap data/kode yang sedang dirunning, sehingga user harus melakukan backup sesering mungkin.

  • Kejadian mati listrik/masalah teknis tidak mempengaruhi durasi pemakaian yang telah ditetapkan sebelumnya (waktu pemakaian akan dianggap terus berjalan).

Permohonan Penggunaan BigBang

Note

Untuk saat ini, BigBang hanya dapat digunakan oleh mahasiswa dan dosen Departemen Ilmu Komputer dan Elektronika UGM, serta dosen kolaborator.

Sebelum diberikan akses ke BigBang, baik itu BigBang Solis ataupun BigBang Luna, setiap user harus mendaftarkan diri terlebih dahulu melalui Sistem Informasi HPC yang beralamat di https://hpc.dcseugm.id/. Untuk membuat akun baru, klik link Create an Account. Apabila telah memiliki akun, dapat langsung mengisikan kredensial (NIU atau NIP) beserta password, lalu klik tombol Login.

Halaman utama

Halaman utama

Mahasiswa

Registrasi

Berikut adalah langkah-langkah untuk registrasi:

  1. Setelah klik Create an Account pada Halaman Utama, klik Mahasiswa.

    Form pendaftaran akun untuk mahasiswa

    Form pendaftaran akun untuk mahasiswa

    Name

    diisikan dengan nama lengkap.

    Email Address

    diisikan dengan alamat email aktif.

    Nomor HP

    diisikan dengan nomor HP yang dapat dihubungi.

    NIM Lengkap

    diisikan dengan NIM lengkap dengan format AA/BBBBBB/CC/DDDDD.

    Program Studi

    diisikan dengan program studi saat ini, terdapat pilihan yang sudah ada: S1 Ilmu Komputer, S2 Ilmu Komputer, S3 Ilmu Komputer, S1 Elektronika dan Instrumentasi, atau S2 Kecerdasan Artificial. Bisa juga diisi secara manual di luar opsi tersebut.

    Password

    diisikan dengan password untuk login nantinya.

    Confirm Password

    diisikan dengan password yang sama dengan isian pada Password.

    Upload Pas Foto

    diisikan dengan pas foto saat ini.

    Upload Foto KTM

    diisikan dengan foto KTM yang aktif.

  2. Isikan data yang sesuai pada form tersebut. Jangan lupa untuk mengunggah file pas foto dan foto KTM.

  3. Cek semua isian. Apabila telah sesuai, klik tombol Registrasi Akun.

  4. Apabila berhasil, maka akan muncul tampilan seperti berikut.

    Registrasi akun mahasiswa berhasil

    Registrasi akun mahasiswa berhasil

  5. Setelah berhasil, silakan login dengan menggunakan NIU dan Password yang benar.

Pengajuan Penggunaan BigBang

Dokumen yang harus dipersiapkan:

Langkah-langkah pengajuan permohonan:

  1. Masuk ke dalam sistem permohonan BigBang menggunakan NIU dan Password yang sudah teregistrasi.

  2. Pada sidebar bagian sebelah kiri, pilih Submit Request > Aktivasi Akun HPC

    Menu aktivasi mahasiswa

    Menu aktivasi mahasiswa

  3. Masukkan informasi yang diminta pada halaman permohonan aktivasi akun HPC.

    Halaman permohonan mahasiswa

    Halaman permohonan mahasiswa

    Pilih nama dosen

    diisikan dengan nama dosen pembimbing/penanggungjawab penelitian yang akan dilakukan. Untuk saat ini, dosen pembimbing ini adalah dosen Departemen Ilmu Komputer dan Elektronika UGM.

    Judul Penelitian

    diisikan dengan judul dari penelitian yang akan menggunakan BigBang.

    Deskripsi Penelitian

    diisikan dengan deskripsi singkat dari penelitian yang akan dilakukan dan peruntukan penggunaan HPC.

    Tujuan Penggunaan HPC

    diisikan dengan tipe penelitian yang akan menggunakan HPC, seperti Skripsi, Thesis, Disertasi, Lomba, Publikasi, dan sebagainya.

    Upload Surat Persetujuan Dosen

    diisikan dengan surat permohonan penggunaan BigBang yang sudah diketahui oleh dosen pembimbing dalam format PDF.

  4. Setelah semua diisikan, klik Submit untuk mengirimkan permohonan.

  5. Permohonan yang sudah diajukan akan tampil di laman Dashboard pada bagian Request Status.

    Halaman status permohonan mahasiswa

    Halaman status permohonan mahasiswa

Dosen DIKE

Registrasi

Berikut adalah langkah-langkah untuk registrasi:

  1. Setelah klik Create an Account pada Halaman Utama, klik Dosen.

    Form pendaftaran akun untuk dosen DIKE

    Form pendaftaran akun untuk dosen DIKE

    Name

    diisikan dengan nama lengkap.

    Email Address

    diisikan dengan alamat email aktif.

    Nomor HP

    diisikan dengan nomor HP yang dapat dihubungi.

    NIP

    diisikan dengan NIP yang terdiri atas 18 digit.

    DIKE atau Non-DIKE

    diisikan dengan memilih DIKE.

    Program Studi DIKE

    diisikan dengan memilih program studi dari dropdown yang disediakan.

    Password

    diisikan dengan password untuk login nantinya.

    Confirm Password

    diisikan dengan password yang sama dengan isian pada Password.

    Upload Pas Foto

    diisikan dengan pas foto saat ini.

  2. Isikan data yang sesuai pada form tersebut. Jangan lupa untuk mengunggah file pas foto.

  3. Cek semua isian. Apabila telah sesuai, klik tombol Registrasi Akun.

  4. Apabila berhasil, maka akan muncul tampilan seperti berikut.

    Registrasi akun dosen berhasil

    Registrasi akun dosen berhasil

  5. Setelah berhasil, silakan login dengan menggunakan NIP dan Password yang benar.

Pengajuan Penggunaan BigBang

Langkah-langkah pengajuan permohonan:

  1. Masuk ke dalam sistem permohonan BigBang menggunakan NIP dan Password yang sudah teregistrasi.

  2. Pada sidebar bagian sebelah kiri, pilih Submit Request > Aktivasi Akun HPC

    Menu aktivasi dosen internal

    Menu aktivasi dosen internal

  3. Masukkan informasi yang diminta pada halaman permohonan aktivasi akun HPC.

    Halaman permohonan dosen internal

    Halaman permohonan dosen internal

    Judul Penelitian

    diisikan dengan judul dari penelitian yang akan menggunakan BigBang.

    Deskripsi Penelitian

    diisikan dengan deskripsi singkat dari penelitian yang akan dilakukan dan peruntukan penggunaan HPC.

    Tujuan Penggunaan HPC

    diisikan dengan tipe penelitian yang akan menggunakan HPC, seperti Skripsi, Thesis, Disertasi, Lomba, Publikasi, dan sebagainya.

  4. Setelah semua diisikan, klik Submit untuk mengirimkan permohonan.

  5. Permohonan yang sudah diajukan akan tampil di laman Dashboard pada bagian Request Status.

    Halaman status permohonan dosen internal

    Halaman status permohonan dosen internal

Dosen Kolaborator

Registrasi

Berikut adalah langkah-langkah untuk registrasi:

  1. Setelah klik Create an Account pada Halaman Utama, klik Dosen.

    Form pendaftaran akun untuk dosen non-DIKE

    Form pendaftaran akun untuk dosen non-DIKE

    Name

    diisikan dengan nama lengkap.

    Email Address

    diisikan dengan alamat email aktif.

    Nomor HP

    diisikan dengan nomor HP yang dapat dihubungi.

    NIP

    diisikan dengan NIP yang terdiri atas 18 digit.

    DIKE atau Non-DIKE

    diisikan dengan memilih Non-DIKE.

    Program Studi

    diisikan dengan program studi saat ini.

    Password

    diisikan dengan password untuk login nantinya.

    Confirm Password

    diisikan dengan password yang sama dengan isian pada Password.

    Upload Pas Foto

    diisikan dengan pas foto saat ini.

  2. Isikan data yang sesuai pada form tersebut. Jangan lupa untuk mengunggah file pas foto.

  3. Cek semua isian. Apabila telah sesuai, klik tombol Registrasi Akun.

  4. Apabila berhasil, maka akan muncul tampilan seperti berikut.

    Registrasi akun dosen berhasil

    Registrasi akun dosen berhasil

  5. Setelah berhasil, silakan login dengan menggunakan NIP dan Password yang benar.

Pengajuan Penggunaan BigBang

Langkah-langkah pengajuan permohonan:

  1. Masuk ke dalam sistem permohonan BigBang menggunakan NIP dan Password yang sudah teregistrasi.

  2. Pada sidebar bagian sebelah kiri, pilih Submit Request > Aktivasi Akun HPC

    Menu aktivasi dosen kolaborator

    Menu aktivasi dosen kolaborator

  3. Masukkan informasi yang diminta pada halaman permohonan aktivasi akun HPC.

    Halaman permohonan dosen kolaborator

    Halaman permohonan dosen kolaborator

    Pilih nama dosen

    diisikan dengan nama dosen internal UGM yang menjadi kolaborator penelitian yang akan dilakukan. Untuk saat ini, dosen pembimbing ini adalah dosen Departemen Ilmu Komputer dan Elektronika UGM.

    Judul Penelitian

    diisikan dengan judul dari penelitian yang akan menggunakan BigBang.

    Deskripsi Penelitian

    diisikan dengan deskripsi singkat dari penelitian yang akan dilakukan dan peruntukan penggunaan HPC.

    Tujuan Penggunaan HPC

    diisikan dengan tipe penelitian yang akan menggunakan HPC, seperti Skripsi, Thesis, Disertasi, Lomba, Publikasi, dan sebagainya.

    Upload Surat Persetujuan Dosen

    diisikan dengan surat permohonan penggunaan BigBang yang sudah diketahui oleh dosen pembimbing dalam format PDF.

  4. Setelah semua diisikan, klik Submit untuk mengirimkan permohonan.

  5. Permohonan yang sudah diajukan akan tampil di laman Dashboard pada bagian Request Status.

    Halaman status permohonan dosen kolaborator

    Halaman status permohonan dosen kolaborator

Frequently Asked Questions (FAQ)

Note

FAQ akan terus diupdate

Saya bukan civitas akademika UGM, apakah saya bisa ikut menggunakan fasilitas BigBang?

Untuk saat ini, fasilitas BigBang hanya diperuntukkan bagi dosen, mahasiswa dan dosen kolaborator di lingkungan Departemen Ilmu Komputer dan Elektronika (DIKE), FMIPA, UGM.

Siapa dosen kolaborator?

Dosen kolaborator adalah dosen UGM yang mempunyai kolaborasi penelitian dengan dosen di Departemen Ilmu Komputer dan Elektronika.

Apakah script program yang dijalankan pada jupyter notebook didalam layanan kubeflow akan tetap berjalan bila tab browser ditutup?

Script program notebook yang disimpan dalam berkas .ipyb yang masih terbuka dalam bentuk tab dan dalam proses dijalankan didalam lingkungan jupyter notebook - kubeflow akan tetap berjalan, walau jendela tab browser jupyter notebook ditutup. Jadi pengguna tidak usah khawatir untuk meninggalkan/menutup/mematikan browser/komputer yang digunakan untuk mengakses layanan kubeflow.

Bagaimana bila GPU tidak terdeteksi pada jupyter notebook?

Bila mengalami kendala GPU tidak terdeteksi, dimohon untuk melakukan restart atau stop dan start notebook pada menu Notebook dari layanan kubeflow. Kemudian silakan pastikan kembali GPU yang digunakan terdeteksi dengan menggunakan perintah nvidia-smi pada jendela terminal dari jupyter notebook.

Tutorial 01 - Kubeflow Dasar

Tutorial 01 - Kubeflow Dasar ini ditujukkan kepada pengguna DGX-A100 agar lebih mudah dalam bekerja dan menggunakan fitur layanan dari antarmuka Kubeflow berbasis web.

Apa itu Notebook Kubeflow?

Kubeflow Notebooks menyediakan cara untuk menjalankan lingkungan pengembangan berbasis web di cluster Kubernetes Anda dengan menjalankannya di pod.

Fitur utama dari Notebook Kubeflow:

  • Dilengkapi dengan fitur JupyterLab, RStudio dan Visual Studio Code (code server).

  • Pengguna dapat membuat wadah notebook secara langsung di dalam cluster, seolah-olah sedang menggunakan workstation milik sendiri.

  • Pengguna dapat memilih daftar image yang tersedia untuk notebooknya atau mengunduh image dari tempat lain, sesuai dengan paket library yang diperlukan, tanpa harus menginstall dari awal.

  • Adanya fitur RBAC (Role Based Access Control) Kubeflow, memungkinkan untuk berbagi data dan saling berkontribusi dengan pengguna lainnya.

  • Pengguna memiliki akses internet untuk mengunduh contoh kode program notebook yang diinginkan.

Mengakses Dashboard

Silahkan buka browser Anda, kemudian pada bagian address bar isikan alamat IP dari server DGX-A100, seperti http://<alamat ip>:<port layanan>. Setelah diisi akan tampil halaman login dari Notebook Kubeflow. Silahkan isikan user name dan password Anda.

Tampilan halaman login notebook kubeflow

Tampilan halaman login notebook kubeflow

Note

Bagi pengguna baru HPC - DIKE UGM, untuk dapat menggunakan layanan DGX-A100 dimohon untuk mendaftar di web HPC - DIKE UGM. Bila membutuhkan informasi lebih lanjut, silahkan hubungi Helpdesk HPC - DIKE UGM!

Tampilan Halaman Utama Dashboard

Setelah login maka akan tampil halaman utama dari dashboard notebook kubeflow. Dashboard kubeflow ini berisi beberapa menu yang merupakan tautan cepat dari berbagai komponen yang diperlukan untuk pengolahan notebook Anda seperti notebook, pipeline, katib, dll.

Tampilan halaman utama dashboard notebook kubeflow

Tampilan halaman utama dashboard notebook kubeflow

Membuat Notebook

Untuk membuat notebook silahkan akses menu Notebooks di bagian kiri sidebar, dan klik tombol New Notebook. Pada halaman New Notebook, silahkan isikan bagian Name dari notebook yang akan dibuat, misalnya contoh01.

Pada bagian Docker image tersedia beberapa opsi pilihan yaitu:

  1. Standard image Standard image ini merupakan image docker bawaan dari sistem yang siap digunakan oleh pengguna. Secara default ada tiga Integrated Development Environment (IDE) yang disediakan yaitu:

    • JupyterLab

    • Code Server atau sering dikenal dengan Visual Code Server

    • RStudio

  2. Custom image Custom image ini merupakan image docker yang bisa diunduh dari repository semisal dari docker.io, nvcr.io, gcr.io, dll.

Pada Tutorial 01 - Kubeflow Dasar akan mengunakan fitur dari IDE JupyterLab dan image yang digunakan yaitu kubeflownotebookswg/jupyter-tensorflow-cuda-full:v1.6.0.

Selanjutnya spesifikasi yang digunakan yaitu CPU = 8 core, RAM = 16 GB, GPU = 1 GPU NVIDIA, dan Workspace Volume = 10 GB disesuaikan dengan kebutuhan komputasi yang diperlukan untuk mengolah notebook. Setelah semua konfigurasi sudah ditentukan, klik tombol Launch untuk membuat notebook.

Note

Bila spesifikasi CPU, RAM, GPU, dan Workspace Volume yang dimasukkan tidak sesuai dengan yang disetujui oleh Tim Pengelola DLRC UGM, maka notebook tidak akan terbentuk dan ada informasi error terkait dengan spesifikasi yang berjalan tidak sesuai.

Cara membuat notebook

Cara membuat notebook [klik pada gambar untuk memperbesar/memperjelas]

Mengakses Notebook

Setelah notebook sudah terbentuk, untuk mengaksesnya klik tautan CONNECT. Maka akan tampil satu tab baru di browser menampilkan halaman dari IDE JupyterLab. Halaman utama dari IDE JupyterLab memiliki menu:

  1. Notebook

    berfungsi untuk membuka editor notebook, menjalankan command langkah demi langkah atau keseluruhan, dan menampilkan output dari notebook.

  2. Console

    berfungsi untuk menampilkan terminal atau console lingkungan khusus pemrograman Python.

  3. Others
    • Terminal

      berfungsi mirip seperti shell atau terminal command line.

    • Text File

      berfungsi mirip dengan Editor untuk berkas berbentuk Text atau *.txt.

    • Markdown File

      berfungsi mirip dengan Editor untuk berkas berbentuk Markdown atau *.md.

    • Python File

      berfungsi mirip dengan Editor untuk berkas berbentuk Python atau *.py.

  4. Menu Sidebar kiri:
    • File Browser

      berfungsi untuk melihat isi file dan folder yang digunakan.

    • Running Terminal and Kernel

      berfungsi untuk melihat daftar dan mematikan Terminal dan Kernel yang digunakan.

    • Git

      berfungsi untuk mengatur koneksi dan update berkas project yang disimpan pada repository http://github.com.

    • Table of Contents

      berfungsi untuk menampilkan daftar isi dari suatu berkas notebook.

    • Extension Manager

      berfungsi untuk menambahkan atau menghapus plugins yang digunakan pada IDE JupyterLab

Halaman utama IDE JupyterLab

Halaman utama IDE JupyterLab

Cara mengakses notebook

Cara mengakses notebook [klik pada gambar untuk memperbesar/memperjelas]

Menjalankan Notebook

Berkas yang diperlukan dalam Tutorial 01 - Kubeflow Dasar ini dapat diunduh pada tautan berikut: TensorFlow 2 quickstart for experts Example

Berkas advanced.ipyb dapat diunggah dari komputer lokal ke IDE JupyterLab dengan cara melakukan drag dan drop pada berkas tersebut menuju bagian sidemenu File Browser. Buka berkas tersebut dan klik tombol RUN pada toolbar untuk mengeksekusi langkah-demi-langkah atau klik tombol double-chevron (>>) untuk mengeksekusi keseluruhan isi dari berkas advanced.ipyb.

Cara menjalankan notebook

Cara menjalankan notebook [klik pada gambar untuk memperbesar/memperjelas]

Menampilkan Grafik dengan Tensorboard

Visualisasi dari hasil eksperimen notebook dapat dilakukan dengan menggunakan tensorboard. Tensorboard menyediakan cara untuk memvisualisasikan eksperimen ML (Machine Learning) yang dijalankan, seperti melacak metrik kehilangan (loss) dan akurasi (accuracy) serta melihat histogram yang bias, bagan model, dan banyak lagi. Untuk informasi lebih lanjut tentang tensorboard, silakan kunjungi situs tensorboard.

Sebagai contoh sederhana, silahkan gunakan kembali server notebook yang dibuat pada langkah sebelumnya. Hubungkan dan unggah notebook baru untuk Tensorboard. Sebelum diunggah silahkan unduh notebook berikut: Get started with TensorBoard

Cara membuat tensorboard

Cara membuat tensorboard

Perhatikan alamat dari folder logs. Lokasi ini diperlukan untuk pembuatan Tensorboard. Jalankan notebook dan pada halaman Kubeflow, buka menu Tensorboards. Klik tombol New Tensorboard. Beri nama misalnya logs-fit dan centang kotak PVC. Pilih volume workspace notebook dari daftar drop-down dan pada bagian Mount Path, masukkan alamat lokasi folder logs yang dicatat pada langkah sebelumnya. Dalam contoh ini adalah logs/fit.

Cara konfigurasi tensorboard

Cara konfigurasi tensorboard

Klik tombol Create dan Tensorboard siap digunakan dalam beberapa menit. Amati tampilkan metrik dan grafik yang berbeda.

Cara menampilkan grafik notebook

Cara menampilkan grafik notebook [klik pada gambar untuk memperbesar/memperjelas]

Referensi: Kubeflow-Basics

Tutorial 02 - Conda Virtual Environment

Tutorial 02 - Tutorial Conda Virtual Environment ini menjelaskan secara singkat kepada pengguna cara untuk mengelola library atau package yang dibutuhkan, serta untuk mengisolasi library/package antar projects dengan menggunakan Conda. Panduan untuk menggunakan Conda lebih lanjut dapat dilihat pada tautan berikut. Cheat sheet Conda berikut juga sangat berguna jika hanya ingin mengacu perintah-perintah Conda yang awam digunakan.

Conda (Anaconda) merupakan sistem pengelelolaan package dan environment. Conda dapat digunakan untuk mengunduh dan menginstall library python yang dibutuhkan serta package lainnya, seperti Cudatoolkit versi tertentu yang berbeda dari Cudatoolkit versi bawaan yang sudah terinstall terlebih dahulu pada image notebook yang dipilih.

Jika pengguna memiliki lebih dari satu project pada satu notebook dan ingin agar library/package tiap project terisolasi dari project lainnya, maka pengguna dapat membuat environment untuk tiap project. Salah satu manfaat dari mengisolasi library/package project yang berbeda di environment yang berbeda adalah untuk menghindari konflik library/package ataupun versi dari library/package yang dibutuhkan masing-masing project.

Conda Virtual Environment

Setiap notebook session sudah terpasang Conda dengan environment bawaan dengan nama base. Library/Package yang terinstall pada environment bawaan ini tergantung pada image dari notebook yang dipilih atau disiapkan pengguna pada saat memulai notebook session.

Membuat Environment Baru

Pengguna dapat membuat environment baru dengan memasukkan perintah berikut:

conda create -name nama-environment python=versi-python

Sebagai contoh, untuk membuat environment baru dengan nama project-baru dengan python versi 3.8, pengguna memasukkan perintah berikut:

conda create -name project-baru python=3.8

Pengguna lalu dapat mengaktifkan environment tertentu dengan menggunakan perintah berikut:

conda activate nama-environment

Pengguna juga dapat melihat library/package yang terinstall pada environment yang sedang aktif dengan perintah berikut:

conda list

Untuk menonaktifkan environment yang sudah diaktifkan, masukkan perintah berikut:

conda deactivate

Memulai Environment dari File

Terkadang kita tidak ingin menginstall library/package pada environment dari awal, melainkan memulai environment yang sama dengan environment yang sudah dimiliki sebelumnya, misalnya dari komputer lokal. Ini bisa dilakukan dengan menyimpan informasi dari environment yang kita sudah miliki sebelumnya ke sebuah file, lalu menggunakan file tersebut untuk menginisiasi environment baru yang ingin kita buat.

Pengguna dapat menyimpan informasi dari environment tertentu ke dalam sebuah file dengan mengaktifkan environment tersebut terlebih dahulu, lalu masukkan perintah berikut:

conda list --explicit > env-sumber.txt

Nama file untuk penyimpanan (di tutorial ini dimisalkan env-sumber.txt), dapat dinamai apapun.

Setelah itu, untuk membuat environment baru dan menginisiasinya dengan file, pengguna dapat menggunakan perintah berikut:

conda env create --name env-baru --file env-sumber.txt

Manajemen Library/Package dengan Conda

Pastikan untuk mengaktifkan environment yang ingin dikelola sebelum menginstall atau menghapus library/package dari environment tersebut. Pengunduhan dan instalasi library/package dapat dilakukan dengan perintah conda dan pip (Pypi). Instalasi library/package dengan Conda dapat dilakukan dengan perintah berikut:

conda install nama-package

Ada beberapa options pada perintah conda install seperti -c nama-channel untuk menentukan sumber pengunduhan library/package yang diinginkan. Detail dari options untuk perintah conda install dapat dilihat dengan memasukkan perintah:

conda install --help

Jika ingin mengunduh dan menginstall library/package dengan pip, pastikan package pip sudah terinstall pada environment yang aktif dengan perintah berikut:

conda install pip

Jika pip belum terinstall pada environment yang sedang aktif, maka library yang diinstall akan terinstall pada environment bawaan (base). Jika pip sudah terinstall pada environment yang sedang aktif, maka instalasi dapat dilakukan dengan perintah berikut:

pip install nama-library