ChatGPT gibi verdiğim girdilere mantılı cevaplar verebilen bir Chatbot geliştirmek istiyorum. Kendi verilerimle eğitip, raspberry pi gibi taşınabilir ortamlarda çalışabilecek seviyede olmasını planlıyorum ama bunu yapmak için nereden başlamam gerektiğini bilmiyorum.
Kesin ChatGPT gibi mi olacak?
Çünkü ChatGPT’nin geliştiricisi olan şirket Open AI
OpenAI - Vikipedi (wikipedia.org)
Ve 1 Milyar dolar gibi bir ilk yatırımla bu işi yapmaya başlamış ve üzerine de 10 Milyar dolar daha yatırım yapılmış.
Bir kaç milyar dolar toplayarak başlayabilirsin.
1 Beğeni
Orada bahsettiğim gibi başlangıç seviyesi bir modelden bahsediyorum. Senin verdiğin cevabı ben zaten biliyorum merak etme. Bana teknik bir bilgi veremeyeceksen saçma ve ukala laflarını burada paylaşma.
1 Beğeni
mantıklı cevap derken neyi kast ettin ?
1 Beğeni
Ben ufak ufak bsm diye bir şey geliştiriyorum. Daha bir hafta oldu başlayalı. Bir incele istersen.
Başlangıç seviyesi model?
Yukarıda mesajınız. Bana buradan başlangıç seviyesi modeli gösterebilir misiniz?
Burada tek seviye tanımı var oda hangi donanımda çalışacağı yönünde.
Ama biz senin hangi cevapları bilmediğini biliyoruz.
Teknik bilgi alabilmek için teknik soru sorabilmen gerekli.
Saçma ve ukala bulan ilk sen değilsin buna emin ol.
Paylaşıp paylaşmayacağım konusunda da bana emir vermeye kalkma.
Dönelim soruna,
Bir sohbet botu ile sorunları çözebilecek yapay zekalı bir asistan arasında dağlar kadar fark vardır.
Bırada bir sohbet botu değil ChatGPT gibi bir yapay zeka çalışmasından bahsediyoruz.
Yapay zeka ile ilgili Open AI ne demiş?
Sohbet şeklinde etkileşim kuran ChatGPT adlı bir modeli eğittik. Diyalog biçimi, ChatGPT’nin takip eden soruları yanıtlamasına, hatalarını kabul etmesine, yanlış öncüllere meydan okumasına ve uygunsuz istekleri reddetmesine olanak tanır.
Yani burada senin söylediğin gibi mantıklı cevaplar vermesi değil, konu, aynı zamanda, hata kabul edebilmesi, uygunsuz istekleri reddetmesi, yanlış öncüllere meydan okuması gerekir.
Yine bunun metodolojisini şöyle açıklamışlar.
Bu modeli, InstructGPT ile aynı yöntemleri kullanarak, ancak veri toplama kurulumunda küçük farklılıklarla, İnsan Geri Bildiriminden Güçlendirmeli Öğrenim (RLHF) kullanarak eğittik. Denetimli ince ayar kullanarak bir başlangıç modeli eğittik: insan yapay zeka eğitmenleri, her iki tarafı da (kullanıcı ve bir yapay zeka asistanı) oynadıkları konuşmalar sağladı. Eğitmenlere, yanıtlarını oluşturmalarına yardımcı olmak için modelle yazılmış önerilere erişim sağladık. Bu yeni diyalog veri setini diyalog formatına dönüştürdüğümüz InstructGPT veri seti ile karıştırdık.
Sonra devam ediyor;
Takviyeli öğrenmeye yönelik bir ödül modeli oluşturmak için, kaliteye göre sıralanmış iki veya daha fazla model yanıtından oluşan karşılaştırma verilerini toplamamız gerekiyordu. Bu verileri toplamak için AI eğitmenlerinin chatbot ile yaptığı konuşmaları aldık. Rastgele model tarafından yazılmış bir mesaj seçtik, birkaç alternatif tamamlamayı örnekledik ve AI eğitmenlerinin bunları derecelendirmesini sağladık. Bu ödül modellerini kullanarak, Yakın Politika Optimizasyonunu kullanarak modelde ince ayar yapabiliriz. Bu sürecin birkaç yinelemesini gerçekleştirdik.
Konuyla alakası yok ama;
Şu bölümkonuyla alakalı değil ama dikkat çekici;
Kullanıcıların geri bildirimlerini almak ve güçlü ve zayıf yönlerini öğrenmek için ChatGPT’yi tanıtmaktan heyecan duyuyoruz. Araştırma önizlemesi sırasında ChatGPT kullanımı ücretsizdir. Şimdi chat.openai.com’da deneyin.
Yani şu an için ücretsiz, ilerleyen dönemde ne olacağı belli değil.
Özet olarak, burada öğrenebilen, hatalarını kabul edebilen, hatalı bir önerme geldiğinde bu hataya itiraz edebilen bir koddan bahsediyoruz.
Bunu kendi eğiticileri ile günlerce haftalarca, eğitmişler. Yetmemiş, şimdi piyasaya ücretsiz denemeye sunarak, milyarlarca internet kullancısıyla denettirerek, yeni şeyler öğrenmesini sağlıyorlar. Yani böylesi bir eğitim metodu.
Aslında azıcık bilgisi olan birine cevabım saçma gelmez. Çünkü bu kadar parayı harcıyorlarsa neler yapabiliyorllar acaba diye sormayı gerektirir.
ChatGPT’nin kökeni ve dayandığı altyapıyı da okursan, dil analizi ile ilgili bir çok farklı konuylada karşılaşacaksın.
Şimdi gelelim konunun can alıcı noktasına;
Chat botu değil kesin ChatGPT mi konuşuyoruz emin olmak istedim.
Bu yapay zeka konuların en başında, Turing testi var.
Ben zaten biliyordum diye saçmalayabilirsin diye turing testini anlatmıyorum.
Yukarıda ChatGpt nin yaptığı gibi cevaplar oluşturabilecek bir eğitilmiş veri setine ihtiyaç duyacaksın. Bu veri seti, dil biliminin her alanını içerdiği gibi, politika, siyaset, spor, dünyada milyarlarca insanın konuştuğu dilleri ve kültürlerindeki konular konusunda eğiltilecek.
Alınan cevaplara, dil bilimciler tarafından skorlar verilerek bu verisetindeki veriler arasında bağlar kurulacak.
Bu karmaşu veri setleri içinde saniyeler içinde aramalar yapıp optimum cevapları oluşturmak için iyi bir server hizmeti sağlaman gerekecek, yani belkide bir süper bilgisayara ihtiyacın olacak.
Hatta, toplamaya başladığın milyar dolar var ya onun bir kısmıyla, şu quantum bilgiysarlardan birini tasarlamak ve gerçeklemek zorunda kalabilirsin.
Yani raspberry içine bunların hepsini sığdıramayacağına göre, rasp’den tarafında sadece istemci/client olarak faydalanabilirsin.
Tabi burada, hangi dillerde çalışacak diye de sormuyorum. Cücük kadar beyinle aynı anda on dilde sorulara cevap verecek bir şey yapabileceğini düşünmüyorum.
Hatta bu ihtimali bile düşünmüş olabileceğini düşünmüyorum. Çapraz diller ve kültürler üzerinde de hiç bir fikrin olabileceğini düşünmüyorum.
Bu şartlarda hadi bana teknik bir soru sor ben de sana teknik bir bilgi vereyim.
1 Beğeni
şöyle bir şeye rast geldim. belki işine yarar.
1 Beğeni
Tamam, en bilgili ve engin yüce bilgisayar programcısı sensin merak etme. Konuya diğer cevap veren insanlar gibi basit bir dilde cevap veremezsiniz değil mi ? Gerçi bu Türkiye’de ki forumların ortak özelli-
ğidir. Çocuğun birisi çıkar yazar ki ‘Ben arka bahçemde nasıl araba yapabilirim ?’ senin gibi ukalalar da çıkıp ‘Ooo yapamazsın ! Araba fabrikasına ihtiyacın var !’ diye zırvalar. Hal bu ki bu soruyu sorana ‘Bir kaç demir parçasını kaynaklayıp bir şase yap ve üzerine bir motor koy. Daha sonra 4 tane tekeri bu yaptığın şaseye bağlayabilirsin’ gibi yardımcı olabilecek bir cevabı vermekten noksandır.
Daha evvelden makine öğrenimi kullanarak Atatürk sorular sorabileceğimiz bir chatbot geliştirmiştim. Bunu bir ileri seviyeye taşıyıp Derin öğrenme kullanarak yapmak istiyorum. Ama bu sefer Wikipedia da ki bütün makaleleri bu chatbotun eğitim verisine dahil edeceğim. Bunu yapmak nelere ihtiyacım olabilir ? ChatGPT’nin bir Transformatör tabanlı dil modeli olduğunu okudum ama Transformatör ne mesela bunu anlayamadım. Veya dil modeli ve ChatBot arasında ki fark ne ?
Buradakiler sadece bir nick. Neden “engin” bilgilerle falan bir şeyler ispatlamaya çalıştığımı düşündün bilmiyorum. Hiç de merak etmiyorum bu nedenle.
Hayır veremem. Çünkü ChatGPT gibi bir şey sormuşsun.
Belki özelliği değildir, belki hep böyle bir şeyle karşılaşıyorsan sorun senin yaklaşımında da olabilir.
Ben bahçemde araba yapacağım dememişsin, ben bahçemde Bugatti gibi bir araba yapacağım nereden başlamalıyım demişsin. Bu durumda zırva maalesef senin yazdıkların oluyor.
Bugatti gibi bir araba yapacaksan dört tekerleğinin, hız ve yük indekslerine dikkat etmelisin. Hız indexin sana aracının maksimum hızından daha yüksek olmalıdır. Hız indeksindeki hızlarda tekerleklerin makimum 15 saniye hızlara dayanabilir.
Bağlantılarında kaynak kullanımından kaçın. Şasini mümkün olduğunca tek parça tasarla, kullanacağın motor oldukça sarsıntılı olabilir. Mecbur kalırsan perçin kullanmayı düşün. Daha da mecbur kalıp kaynak kullanacaksan NDT eğitimi almış birileriyle çalış, sertifikalı bir kaynakçı kaynaklarını yapsın.
Şasini sacdan tasarlayacaksan, sac kalınlıklarına uygun radyüslerle büktür büküm noktalarında mikro çatlaklar konusuna dikkat et.
Tekerlek bağlantılarına geçmeden önce aracını önden çekişli mi arkadan çekişli mi tasarlayacağına karar ver. Buna göre ön salıncak ve arka aks konusunda dah faydalı bilgiler verebiliriz Bijon seçerken sakın 8.8 civata gibi köylü memet ağa işlerine kalkışma.
Aracını trafikte kullanacak isen, hangi ülkede kullanacaksan bunu belirt, zira, amerikada sinyal ve fren ikaz lambalarının aynı renk olmasına karışılmazken, avrupada sinyal ve fren lambaları ayrı tanımlanmıştır.
Zatece yerel Türkiye için kullanacak isen, ilgili standart ve yerel kanunlara bir göz atmanda fayda var.
Motor tasarımını bilmiyoruz, ama yüksek hız, yüksek performans motorları, için kendin tasarlayacaksan, hafif metal alaşımları konusunda bilgi sahibi olmalısnız, 7075 alüminum (kullanılmaz ama) T4 mü T6 mı ısıl işlem görmesi gerektiği gibi nüanslar var.
Tüm, süspansiyon, motor ve dişli kutusu konularını burada tek tek yazarım ama gerek yok.
Yani arka bahçede araba yapacağım dersen, oto sanayide, bir çok dükkanın arka bahçesinde böyle hayaller çürümek için yatar haberin olsun.
Ama yapamazsın diyenleri hiç anlayamadığınızdan hep böyle arka bahçeniz çöplerle dolu olacaktır.
Yapamazsın diyenler.
Dört tekerlek, bir motoru bir şasinin üzerine koyup bir kaporta bindiremezsin demiyor.
Mühendisli bir optimizasyondur.
Belirlenmiş isterlere en uygun ölçüde en ekonomik sonuçları sağlayacak. Güvenlik kuralları, ilgili kurallar ve yerel yasalara dikkat ederek, seri üretilen piyasada bulunabilen bir ürünü ortaya koymaktır.
Ha bunların ötesine geçecek extrem mühendislik uygulamarı vardır ki, bunlar da önceki saydıklarımı atlamaz, bunları sağlar, üzerine de ilave birçok yüksek standardı hedefler.
Dönelim sorundaki problemlere;
Linkte paylaşılan çözüm kabul ettiğin linten bir paragraf:
ChatGPT works under GPT-3 model, which is trained on 45 terabytes of text data. If you want to train GPT-3 using 45 TB of data on your local PC or laptop, it will approximately take 335 years .
Derki chathpt, 45 Terabayt metin bilgisi ile eğitilen GPT-q3 modeli altında çalışır . By 45 TB datayı lokal birlisayarınızda veya dizüstü bilgisayarda eğitmek isterseniz yaklaşık olarak 335 yıl alır.
İşte sorunuzdaki ilk emin misiniz sorumun sebebi.
Şu soruları anlarım.
ChatGPT hangi modeli kullanıyor. Ben küçük bir model kullanmak istiyorum. Nereden başlamalıyım.
Daha ilginci. Masaüstü mü online mı düşünüyorsunuz onu bile bilmiyoruz.
Mantlıklı ne demek? Hangi konularda ne seviyede bir mantık istiyorsun?
Bu gibi basit amaca yönelik sorular olursa net teknik bilgi verebiliriz.
Arka bahçemde uzay mekiği yapmak istiyorum dersen, olacağı bu.
Ben şimdi nasıl anlatayım,seramikleri, süper alaşımları, hafif metal alaşımlarını. Hangi sertifikasyon testlerinin gerektiğini.
Yani her şey gaz ve toz bulundan başlayacaksak.
İş ta lexical analizden başlayacak. Burada dahi, girdinin hatalı yazılması durumunda ne tür bir düzeltme yapılacağına kadar girmemiz gereyiyor.
Bence buradan başla.
Önce girilen kelimeleirn düzeltilmesi, sözlük anlamlarının tespiti konusunda başla.
Hani google bunu mu demek istediniz diyor ya sen oradan başla.
2 Beğeni