Devopsadept
- Dapatkah saya menjalankan spark dalam wadah buruh pelabuhan?
- Cara Mengakses Spark UI Diinstal di Docker?
- Bisa memicu wadah?
Dapatkah saya menjalankan spark dalam wadah buruh pelabuhan?
0, Aplikasi Spark dapat menggunakan wadah Docker untuk menentukan dependensi perpustakaan mereka, alih -alih memasang dependensi pada instance Amazon EC2 individu di cluster. Untuk menjalankan Spark dengan Docker, Anda harus terlebih dahulu mengonfigurasi registri Docker dan mendefinisikan parameter tambahan saat mengirimkan aplikasi Spark.
Cara Mengakses Spark UI Diinstal di Docker?
Buka instance EC2 Anda dan salin alamat IPv4 publik. Tambahkan port: 18080 di ujungnya dan tempel di tab baru. Server riwayat akan menunjukkan UI Spark untuk pekerjaan lem.
Bisa memicu wadah?
Memuat aplikasi Anda
Langkah terakhir adalah membuat gambar kontainer untuk aplikasi Spark kami sehingga kami dapat menjalankannya di Kubernetes. Untuk memuat aplikasi kami, kami hanya perlu membangun dan mendorongnya ke Docker Hub. Anda harus menjalankan Docker dan masuk ke Hub Docker seperti saat kami membangun gambar dasar.
