Devopsadept
- Bagaimana cara mengakses spark ui di kubernetes?
- Bisakah kita menjalankan Spark di Kubernetes?
- Bagaimana cara mengirimkan pekerjaan percikan di kluster kubernetes?
Bagaimana cara mengakses spark ui di kubernetes?
UI yang terkait dengan aplikasi apa pun dapat diakses secara lokal menggunakan port-forward Kubectl . Kemudian, Spark Driver UI dapat diakses di http: // localhost: 4040 .
Bisakah kita menjalankan Spark di Kubernetes?
Spark dapat berjalan pada cluster yang dikelola oleh Kubernetes. Fitur ini memanfaatkan penjadwal kubernet asli yang telah ditambahkan ke Spark. Penjadwal Kubernetes saat ini eksperimental. Di versi mendatang, mungkin ada perubahan perilaku di sekitar konfigurasi, gambar kontainer dan titik entri.
Bagaimana cara mengirimkan pekerjaan percikan di kluster kubernetes?
Untuk menangani data di S3 dengan pekerjaan percikan, Anda harus menambahkan dependensi terkait S3 ke POM. XML dalam sumber percikan untuk menghindari ketergantungan masalah yang hilang saat pekerjaan percikan yang diserahkan ke Kubernetes dalam mode cluster. Ketergantungan ini adalah yang digunakan untuk mengirimkan pekerjaan percikan dengan opsi - paket com.
