Reklam
AIMachinesMicrosoftNVIDIA

Microsoft ve Nvidia, devasa yapay zeka destekli dil modelini eğitmek için bir araya geldi


Yeni model 105 katmana ve 530 milyar parametreye sahip ancak teknoloji devleri, yanlılığın sistem için hala bir sorun olduğunu söyledi.

Teknoloji devleri Microsoft ve Nvidia, “bugüne kadar eğitilmiş en büyük ve en güçlü monolitik dönüştürücü dil modeli” olduğunu iddia ettikleri şeyi oluşturmak için bir araya geldi.

Megatron-Turing Doğal Dil Üretimi (MT-NLG) modeli, 105 katmana ve 530 milyar parametreye sahiptir; OpenAI’nin GPT-3’ü.

Dil modelleri, metni analiz eder ve makine öğrenimini kullanarak o metindeki diğer kelimeler verildiğinde bir kelimenin görünme olasılığını hesaplar. En yaygın olarak telefonlarımızda ve e-postalarımızda tahmini metin biçiminde görülür.

Bu modeller, derin öğrenmeye dayanan ve bilgisayarların kullanıcılar tarafından verilen girdilerden anlam kazanmasını sağlayan doğal dil işlemenin temel bir bileşenidir.

Bir sistem ne kadar çok parametreye ve katmana sahipse, o kadar büyük ve karmaşıktır, yani daha incelikli bir dil anlayışı edinebilir.

MT-NLG’nin 105 katmanı ve 530 milyar parametreleri, onu her iki şirket tarafından eğitilmiş önceki trafo tabanlı sistemlerden daha güçlü kılıyor.

105 katmanlı, transformatör tabanlı MT-NLG, sıfır, bir ve birkaç atımlık ayarlarda önceki son teknoloji modellere göre geliştirildi ve her iki modelde de büyük ölçekli dil modelleri için yeni standardı belirledi. ölçek ve kalite,” dedi şirketler bir blog yazısında.

Microsoft ve Nvidia’ya göre, MT-NLG, metin tahmini, okuduğunu anlama, sağduyulu akıl yürütme, doğal dil çıkarımları ve kelime anlamı belirsizliğini giderme dahil olmak üzere geniş bir doğal dil görevlerinde “eşsiz doğruluk” sergiliyor.

Önyargı hala geçerli

Dil işleme ve derin öğrenme dünyasındaki bu son gelişme etkileyici bir başarı olsa da, devam eden problem AI içindeki önyargı kalıntılar.

Bunun en dikkate değer örneklerinden bazıları şunlardır: bir MIT resim kitaplığı geçen yıl ırkçı ve kadın düşmanı terimler içerdiği tespit edilen yapay zekayı eğitmek için kullanıldı ve Microsoft’un kendi sohbet robotu 2016’da 24 saat içinde ırkçı ve kadın düşmanı oldu.

Microsoft ve Nvidia, MT-NLG modelinin eğitim aldığı verilerden stereotipleri ve önyargıları da aldığını buldu.

“Microsoft ve Nvidia, bu sorunu çözmek için çalışmaya kararlı. Modelin önyargısını ölçmeye yardımcı olmak için sürekli araştırmayı teşvik ediyoruz ”dedi.

“Ayrıca, üretim senaryolarında MT-NLG’nin herhangi bir şekilde kullanılması, kullanıcılara olası zararı azaltmak ve en aza indirmek için uygun önlemlerin alınmasını sağlamalıdır.”

Başarılı olmak için ihtiyacınız olan bilgiyi kaçırmayın. için kaydolun Günlük Özet, Silikon Cumhuriyeti’nin bilinmesi gereken bilim-teknoloji haberlerinin özeti.


Source link

Başa dön tuşu

Reklam Engelleyici Algılandı

Lütfen reklam engelleyiciyi devre dışı bırakarak bizi desteklemeyi düşünün