Yayınlanma tarihi: 14 Mayıs 2024
Web'deki yapay zeka modelleriyle özellik geliştirirken genellikle sunucu tarafı daha büyük modeller için çözümler. Bu durum özellikle üretken yapay zeka için geçerlidir. En küçük modeller bile ortalama web sayfası boyutundan yaklaşık bin kat daha büyüktür. Modellerin 10 ile 100 saniye arasında değişebildiği diğer yapay zeka kullanım alanları için de geçerlidir. büyük bir alan.
Bu modeller web siteleri arasında paylaşılmaz, Sayfa yüklenirken her sitenin bunları indirmesi gerekir. Bu çözüm, özellikle de geliştiriciler ve kullanıcılar
Sunucu tarafı yapay zeka, büyük modeller için mükemmel bir seçenek olsa da cihaz üzerinde ve karma yaklaşımların da büyük avantajları vardır. Bu yaklaşımları uygulanabilir hale getirmek için model boyutunu ve model yayınlamayı ele almamız gerekir.
Bu nedenle, büyük dil modelleri (LLM'ler) dahil olmak üzere yapay zeka modellerini doğrudan tarayıcıya entegre etmek için tasarlanmış web platformu API'leri ve tarayıcı özellikleri geliştiriyoruz. Bu kapsamda, Gemini LLM ailesinin en verimli sürümü olan ve en modern masaüstü ve dizüstü bilgisayarlarda yerel olarak çalışacak şekilde tasarlanmış Gemini Nano da yer alır. Yerleşik yapay zeka sayesinde web siteniz veya web uygulamanız, kendi yapay zeka modellerini dağıtmak veya yönetmek zorunda kalmadan yapay zeka destekli görevleri gerçekleştirebilir.
Yerleşik yapay zekanın avantajlarını, uygulama planımızı ve bu teknolojiden yararlanabilirsiniz.
Erken önizleme yapın
API'leri şekillendirmek, kullanım alanlarınızı karşılamalarını sağlamak ve standartlaştırma için diğer tarayıcı tedarikçileriyle yaptığımız görüşmeleri bilgilendirmek amacıyla görüşlerinize ihtiyacımız var.
Yerleşik yapay zeka fikirlerinin erken aşamaları hakkında geri bildirimde bulunmak ve yerel prototipleme aracılığıyla devam eden API'leri test etme fırsatlarını keşfetmek için erken önizleme programımıza katılın.
Yeni API'ler kullanıma sunulduğunda bildirim almak için Chrome AI geliştirici herkese açık duyurular grubuna katılın.
Web geliştiricileri için yerleşik yapay zekanın avantajları
Yerleşik yapay zeka sayesinde tarayıcınız, temel ve uzman modelleri sunar.
Yerleşik yapay zeka, cihaz üzerinde yapay zeka ile karşılaştırıldığında şu avantajları sağlar:
- Dağıtım kolaylığı: Tarayıcı modelleri dağıtırken cihazın kapasitesini hesaba katar ve model güncellemelerini yönetir. Bu büyük modelleri tek bir sistem üzerinden indirmekten veya güncellemekten ağ. Depolama alanı çıkarma, çalışma zamanı bellek bütçesi, yayınlama maliyetleri ve diğer sorunları çözmeniz gerekmez.
- Donanım hızlandırmaya erişim: Tarayıcının AI çalışma zamanı şu şekilde optimize edilir: GPU, NPU veya düşen donanım gibi mevcut donanımlardan en iyi şekilde yararlanma geri dönüyor. Bunun sonucunda uygulamanız her bir olanak tanır.
Cihaz üzerinde çalıştırmanın avantajları
Yerleşik yapay zeka yaklaşımı sayesinde yapay zeka görevlerini cihazda gerçekleştirmek önemsiz hale gelir. Bu da aşağıdaki avantajları sağlıyor:
- Hassas verilerin yerel olarak işlenmesi: Cihaz üzerinde yapay zeka, hikayesini anlatabilirsiniz. Örneğin, hassas verilerle çalışıyorsanız yapay zeka özellikleri hakkında daha fazla bilgi edinin.
- Hızlı kullanıcı deneyimi: Bazı durumlarda, sunucusu, neredeyse anında sonuçlar sunabileceğiniz anlamına gelir. Cihaz üzerinde yapay zeka, kullanıcı deneyimi arasında fark yaratmaktır.
- Yapay zekaya daha fazla erişim: Kullanıcılarınızın cihazları, özelliklere daha fazla erişim karşılığında işlem yükünün bir kısmını üstlenebilir. Örneğin, Premium yapay zeka özellikleri sunuyorsanız bu özellikleri cihaz üzerinde yapay zeka ile önizleyebilirsiniz Böylece potansiyel müşteriler hiç sorun yaşamadan ürününüzün avantajlarını görebilir. size bir ek maliyet getirir. Bu karma yaklaşım sayesinde çıkarım maliyetlerini düşürür.
- Çevrimdışı yapay zeka kullanımı: Kullanıcılarınız internet bağlantısı olmadığında bile yapay zeka özelliklerine erişebilir. Bu sayede siteleriniz ve web uygulamalarınız çevrimdışıyken veya değişken bağlantıyla beklendiği gibi çalışabilir.
Karma yapay zeka: Cihaz üzerinde ve sunucu tarafında
Cihaz üzerinde yapay zeka çok çeşitli kullanım alanlarını işleyebilir ancak belirli kullanım alanları vardır. gerektiren durumlar olabilir.
Örneğin, daha büyük modeller kullanmanız veya daha geniş bir yelpazeyi desteklemeniz gerekebilir. platformlar ve cihazlar.
Aşağıdakilere bağlı olarak karma yaklaşımları değerlendirebilirsiniz:
- Karmaşıklık: Belirli ve kolayca anlaşılabilen kullanım alanlarının cihaz üzerinde yapay zeka ile desteklenmesi daha kolaydır. Karmaşık kullanım durumları için sunucu tarafı uygulamayı tercih edebilirsiniz.
- Dayanıklılık: Varsayılan olarak sunucu tarafı kullan ve cihaz çevrimdışı veya kesintili bir bağlantıda.
- Graceful yedek: Yerleşik yapay zekaya sahip tarayıcıların benimsenmesi zaman alır. bazı modeller kullanılamayabilir, eski veya daha az güçlü cihazlar tüm modellerin en iyi şekilde çalıştırılması için donanım gereksinimlerini karşılamalıdır. Teklif sunucu tarafı yapay zekayı kullanır.
Gemini modelleri için arka uç entegrasyonunu (Python, Go, Node.js veya REST ile) kullanabilir ya da web uygulamanızda yeni Web için Google Yapay Zeka istemci SDK'sını uygulayabilirsiniz.
Tarayıcı mimarisi ve API'ler
Chrome'da yerleşik yapay zekayı desteklemek için cihaz üzerinde yürütme için temel ve uzman modellerine erişecek altyapı oluşturduk. Bu altyapı zaten gibi yenilikçi tarayıcı özelliklerini destekler. Yazmama yardım et, ve yakında cihaz üzerinde yapay zeka için API'leri destekleyecek.
Yerleşik yapay zeka özelliklerine öncelikle çeviri API'si veya özetleme API'si gibi görev API'leriyle erişirsiniz. Görev API'leri, atama için en iyi modele göre çıkarım yapmak üzere tasarlanmıştır.
Chrome'da bu API'ler, hassas ayar veya uzman modeli ile Gemini Nano'ya karşı çıkarım yürütmek için tasarlanmıştır. Modern cihazların çoğunda yerel olarak çalışacak şekilde tasarlanmıştır. Gemini Nano, özetleme gibi dille ilgili kullanım alanları için idealdir. başka bir şekilde ifade etme veya sınıflandırma.
Ayrıca, yerel denemeler yapabilmeniz için keşif amaçlı API'ler de sağlamayı amaçlıyoruz. daha fazla kullanım alanı paylaşabilirsiniz.
Örneğin, aşağıdaki bilgileri sağlayabiliriz:
- Prompt API: Doğal dilde ifade edilen rastgele bir görevi yerleşik Büyük Dil Modeli (Chrome'daki Gemini Nano).
- İnce ayar (LoRA) API'si: Düşük Sıralı Uyum ince ayarıyla modelin ağırlıklarını ayarlayarak yerleşik LLM'nin bir görevdeki performansını iyileştirin.
Yerleşik yapay zekayı ne zaman kullanmalısınız?
Yerleşik yapay zekanın size ve kullanıcılarınıza sağlayabileceği bazı avantajlar şunlardır:
- Yapay zeka destekli içerik tüketimi: Özetleme, çeviri, bazı içeriklerle ilgili soruları yanıtlama, kategorilere ayırma ve karakterizasyon dahildir.
- Yapay zeka destekli içerik oluşturma: Yazma yardımı, gözden geçirme, dil bilgisi düzeltme ve yeniden ifade etme gibi özellikler.
Sırada ne var?
Erken aşamadaki yerleşik yapay zeka API'lerini denemek için erken önizleme programımıza katılın.
Bu sırada, Google AI JavaScript SDK'sı için hızlı başlangıç kılavuzumuzda, Gemini Pro'yu Google'ın sunucularında web siteleriniz ve web uygulamalarınızla nasıl kullanacağınızı öğrenebilirsiniz.