Reklam
Google

GKE’deki yeni çok örnekli NVIDIA GPU’larla iş yüklerini en üst düzeye çıkarın

Geliştiriciler ve veri bilimciler giderek daha fazla Google Kubernetes Engine (GKE) ile makine öğrenimi, görselleştirme / oluşturma ve yüksek performanslı bilgi işlem gibi zorlu iş yüklerini çalıştırmak için GKE’nin NVIDIA GPU’lar. GKE esneklik, otomatik ölçeklendirme ve yönetim kolaylığı sağlarken, GPU’lar üstün işlem gücü sağlar. Bugün, GKE’de çok örnekli GPU’lar için destek başlatıyoruz (şu anda Ön izleme), GPU yatırımlarınızdan daha iyi değer elde etmenize yardımcı olacaktır.

Açık kaynaklı Kubernetes, kapsayıcı iş yükü için GPU’nun yalnızca bir kısmına ihtiyaç duysa bile, kapsayıcı başına bir tam GPU ayırır. Bu, özellikle en yeni nesil güçlü GPU’ları kullanıyorsanız, kaynakların boşa harcanmasına ve maliyet aşımlarına yol açabilir. Bu, yalnızca bir avuç örneği gerçek zamanlı olarak işleyen çıkarım iş yükleri için özellikle önemlidir (aksine, eğitim iş yükleri milyonlarca örneği büyük partiler halinde işler). Bu nedenle, çıkarım ve diğer hafif GPU iş yükleri için, GPU paylaşımı, kullanımı iyileştirmek ve maliyetleri düşürmek için gereklidir.

GKE’de çok örnekli GPU’ların piyasaya sürülmesiyle, artık tek bir NVIDIA A100 GPU’yu her biri kendi yüksek bant genişliğine sahip belleği, önbelleği ve işlem çekirdeğine sahip yedi örneğe bölebilirsiniz. Her örnek, bir NVIDIA A100 GPU başına en fazla yedi kapsayıcı olacak şekilde bir kapsayıcıya tahsis edilebilir. Ayrıca, çoklu bulut sunuculu GPU’lar, kapsayıcılar arasında donanım yalıtımı ve GPU üzerinde çalışan tüm kapsayıcılar için tutarlı ve öngörülebilir QoS sağlar.

Reklam

Buna şunu da ekleyin: A2 sanal makineleriGoogle Cloud’un en büyük GPU tabanlı Compute Engine örnekleri, örnek başına 16’ya kadar A100 GPU’yu destekler. Bu, düğüm başına 112’ye kadar zamanlanabilir GPU örneğine sahip olabileceğiniz anlamına gelir ve burada her biri bir bağımsız iş yükü çalıştırabilir. GKE’nin sektör lideri otomatik ölçeklendirme ve otomatik provizyon yeteneklerinden yararlanılarak, çok örnekli GPU’lar otomatik olarak yukarı veya aşağı ölçeklenebilir ve daha düşük maliyetlerle üstün performans sunar.

İçin MUCİZELER® uygulamaları, çoklu örnek GPU’lar büyük ölçüde şeffaftır. Her GPU örneği normal bir GPU kaynağı olarak görünür ve programlama modeli değişmeden kalır, bu da çok örnekli GPU’ların kullanımını kolay ve kullanışlı hale getirir.

Müşteriler ne diyor

Çoklu bulut sunuculu GPU düğümlerini erken benimseyenler, zorlu iş yükleri için GKE kullanımlarını hızlandırmak için bu teknolojiyi kullanıyor. Sigorta sektörü için mülk analizi ve iş akışı araçları sağlayıcısı olan Betterview, havadan görüntüleri işlemek için GKE ve NVIDIA GPU’ları kullanıyor.

betterview.jpg

“A100’lere sahip çok örnekli GPU mimarisi, Kubernetes / GKE’de GPU’larla çalışarak gelişiyor. Bir kaynağa GPU eklemek için atlanması gereken yapılandırma döngülerinin sayısını azaltarak, Google Cloud ve NVIDIA, Makine öğrenimini geniş ölçekte dağıtmanın önündeki engel. Azaltılmış yapılandırma karmaşıklığının yanı sıra, NVIDIA’nın A100 ile olan saf GPU çıkarım performansı çok hızlı. Google Cloud ile iş ortaklığı yapmak, AI’yı bizim için en uygun şekilde dağıtmak için bize birçok istisnai seçenek sağladı. ” –Jason Janofsky, Başkan Yardımcısı ve CTO, Betterview

Reklam

Çok örnekli GPU bölümleri oluşturma

A100 GPU, aşağıdakilerin GPU örneklerine bölünebilen yedi işlem birimi ve sekiz bellek biriminden oluşur. değişen boyutlar, iş yüklerinizi ölçeklendirmek için ihtiyaç duyduğunuz esnekliği ve seçeneği sağlar. Örneğin, her biri 20 GB belleğe sahip iki çok eşgörünümlü GPU örneği, 10 GB’lık üç örnek veya 5 GB’lık yedi örnek oluşturabilirsiniz.

GPU bölümü örnekleri aşağıdaki sözdizimini kullanır: [compute]g.[memory]gb. Örneğin, bir GPU bölümü boyutu 1g.5gb bir hesaplama birimine (GPU’daki çoklu akış işlemcilerinin 1 / 7’si) ve 1 bellek birimine (5 GB) sahip bir GPU örneğini ifade eder. A100 GPU’lar için bölüm boyutu GKE aracılığıyla belirtilebilir küme veya düğüm havuzu API.

Kapsayıcıları çok örnekli bir GPU düğümüne dağıtma

Bir düğümde çok örnekli GPU örneği başına bir kapsayıcı dağıtabilirsiniz. Bölüm boyutu ile 1g.5gb, düğümde bir A100 GPU ile kullanılabilen yedi çok örnekli GPU bölümü vardır. Sonuç olarak, bu düğümde GPU’lar isteyen yedi adede kadar kapsayıcı dağıtabilirsiniz.

Her düğüm, mevcut GPU bölümlerinin boyutuyla etiketlenir. Bu etiketleme, iş yüklerinin düğüm seçicileri veya düğüm benzeşimi aracılığıyla doğru boyutlu GPU örneklerini istemesine olanak tanır.

Başlarken

Artık, GKE’deki çok örnekli GPU’larla, iş yükü hızlandırma ihtiyaçlarınızı doğru boyuttaki kaynaklarla kolayca karşılayabilirsiniz. Dahası, daha iyi bir kullanıcı deneyimi sunarken ve operasyonel maliyetleri en aza indirirken hızlandırma ihtiyaçlarınıza verimli bir şekilde hizmet etmek için altyapıyı otomatik olarak ölçeklendirmek için GKE’nin gücünden yararlanabilirsiniz. Bu gün başlayacağım!

İlgili Makale

A2 VM’ler artık GA — NVIDIA A100 GPU’lara sahip en büyük GPU bulut örnekleri

NVIDIA A100 GPU’lu A2 VM’ler artık makine öğrenimi ve HPC dahil en zorlu iş yükleriniz için genel olarak mevcuttur.

Makaleyi Okuyun

Google Cloud Blog

Kaynak Linki

0 Yorumlar

Yorum Yok

Reklam
Başa dön tuşu

Reklam Engelleyici Algılandı

Lütfen Reklam Engelleyiciyi Kapatınız