wojak.enginar

jev'in asil olayi 200x hiz degil. bu hikaye, diogo almeidanin openaide fark ettigi bir sorunla basliyor. modeller artik herkesin hayatinda cok buyuk yer aliyor. sorulari cevapliyor, kod yaziyor, fikir uretiyor ve bizimle bir insan gibi konusuyor. yine de sirketler (genellikle dinozor) hala kritik kararlarin basinda insan faktoru kullaniyorlar. almeidanin sorusu basitti. chatgpt bu kadar gucluyse, vaat edilen otomasyon nerede? almeida, openaiden 2024 yilinda ayrildi ve typesafe ai sirketini erik gafni ile sasha shengle kurdu. gafni, invitae ve freenome adli iki saglik teknolojisi unicornunda erken donemde calisti. daha once dna dizileme icin coklu veri kullanan bir ai sirketi kurdu. sheng ise meta fairde haber akisi, ai deneyimleri ve arastirma uzerinde calisan bir muhendisti. typesafe, daha genis ekibinde openai, google brain, meta fair, stripe, airbnb, plaid ve docker gecmisi olan insanlar bulundugunu soyluyor. sirket iki yil gizli calisti. sonra ilk modeli jev ile ortaya cikti. teknoloji yatirimcisi dcvc, 40 milyon dolarlik tohum yatirimina liderlik etti. forbes, anlasmaya yakin bir kaynaga dayanarak sirketin degerlemesini 200 milyon dolar olarak bildirdi. bu onemli bir ayrinti. yatirimcilar mevcut bir modelin ustune kurulan yeni bir chatbot uygulamasina degil, farkli bir model mimarisi iddiasina para yatırdı. almeidanin gecmisi de gercekten guclu. instructgpt makalesinin yazarlarindan ve chatgpt katkicilarindan biri. openaide dort yil calisti ve gpt 4 dahil modern modellerin insan talimatlarini izlemesine yardim eden sistemlere katkida bulundu. ama viral gonderilerde kullanilan chatgpt kurucusu ifadesi yanlis. almeida bu sistemlerin gelisiminde onemli bir isimdi. fakat chatgptnin kurucusu veya insan geri bildirimli egitimin tek basina ilk mucidi degil. typesafein tezi, sirketin kendisinden daha ilginc. almeida bunu elektrik motoruyla anlatiyor. elektrik ilk kez fabrikalara geldiginde, muhendisler buhar makinesini tek bir buyuk elektrik motoruyla degistirdi. fabrikanin geri kalani ayni kaldi. asil verim, yillar sonra her tezgaha ayri bir motor takilip fabrikanin tamamini yeniden tasarlamakla geldi. typesafe, bugun chat modellerini eski fabrikanin ortasindaki tek motor gibi kullandigimizi dusunuyor. her isi tek bir buyuk modele veriyoruz. model once sorunu uzun uzun okuyor, sonra kelime kelime cevap yaziyor. yazilim bu cevabi ayikliyor, dogru bicimde olup olmadigini kontrol ediyor ve ne yapacagina karar veriyor. jev bu nedenle sizinle sohbet etmek icin yapilmadi. ona bir durum veriyorsunuz. bir odeme sahte mi. bu destek talebi hangi ekibe gitmeli. bu kod yorumu dogru mu. bu kullanici ayrilmak uzere mi. bu islem insana gonderilmeli mi. jev paragraf yazmak yerine secim, puan ve olasilik donduruyor. basit bir sigorta ornegi dusunun. sistem, bu evde yangin gecmisi var mi diye soruyor. jev belgeleri okuyup yuzde 82 olasilik veriyor. yazilim yuksek guvende otomatik ilerleyebilir, dusuk guvende dosyayi insana gonderebilir. buradaki asil deger cevabin guzel yazilmasi degil. modelin ne kadar emin oldugunu yazilimin kullanabilecegi bir bicimde bildirmesi. normal bir dil modeli cevabi kelime kelime uretir. her yeni kelime, onceki kelimeden sonra hesaplanir. jev ise tanimli cevaplari ayni anda hesaplar. hizinin sirri daha hizli yazmak degil. hic yazi yazmamak. typesafe, uygun gorevlerde 20 ile 200 kat hiz ve 40 ile 400 kat daha dusuk maliyet bildiriyor. tek bir cagri 70 ile 500 ms surebiliyor. fiyat, bir milyon girdi tokeni icin 0,042$~₺1.94. cikti tokeni ucretsiz. sirketin kendi ifadesiyle, olculemeyecek kadar ucuz. ama bu rakamlar metin veya kod uretimi icin gecerli degil. siniflandirma, secim, puanlama ve yonlendirme gibi dar kararlar icin gecerli. jev adi da rastgele degil. ekonomist william stanley jevonsun paradoksuna gore, bir kaynak daha verimli ve ucuz hale geldiginde toplam kullanim azalmak yerine artabilir. typesafein bahsi su. yapay zeka yeterince ucuzlarsa, yalnizca sohbet kutularinda degil, yazilimin her kosesinde kullanilir (bunun orneklerini daha once baska girisimlerde de gorduk). bugun en guclu modelleri, bu eposta spam mi veya hangi butona basmaliyim gibi kucuk kararlar icin de cagiriyoruz. bu pahali, yavas ve gereksiz yere karmasik. jev hakli cikarsa, pahali sohbet modelleri metin, kod ve derin reasoning gerektiren buyuk islerde kalacak. milyonlarca kucuk karar ise arka planda sessizce alinacak. browser use tarafindan yapilan ucus demosu bu fikri iyi gosteriyor. ajan, zurih ile londra arasinda bir ucus buluyor. islem 7,1 saniye suruyor ve 0,0039$~0.19₺'e mal oluyor. jev her adimda sayfayi uzun bir metinle anlatmıyor. sayfadaki buton ve alanlarin listesini okuyup bir sonraki eylemi seciyor. demoda jev tek basina degildi. yazi alanlarini doldurmak icin kucuk bir dil modeli devreye girdi. bu kusur degil. asil urun fikri tam olarak bu. dil modeli gerekli yerde metin uretir. jev gerekli yerde hizli karar verir. kod da ikisini yonetir. yorumlarda bulunan bir sinir ise daha az konusuldu. browser ajani, jevin olasilik ve guven puanlarini kaydediyor. fakat karar verirken bunlari kullanmiyor. jev ne kadar kararsiz olursa olsun, sistem her zaman en yuksek secenegi uyguluyor. demo hizi ve maliyeti gosteriyor. fakat typesafein dusuk guvende insana veya daha guclu bir modele donme vaadini henuz gostermiyor. mark jaquith daha sade ve gunluk bir kullanim buldu. kod yorumlarini iki ayri soruyla kontrol etti. yorum dogru mu. yorum yararli mi. iki ile carpan kodu aciklayan dogru ama gereksiz yoruma, dogrulukta 99 ve yararda 2 verdi. uc ile carptigini soyleyen yanlis yoruma ise dogrulukta 1 verdi. bu iki karar yalnizca 0,0044$'e mal oldu. burada jev bir yazar degil. binlerce dosyada calisabilecek anlamsal bir linter. markin deneyi baska bir siniri de gosterdi. ayni hot dog sorusu, farkli calistirmalarda yuzde 69 ile 71 arasinda sonuc verdi. yani jev ayni girdide her zaman birebir ayni sonucu vermiyor. ayrica tek bir iyi kotu puani istemek yerine dogruluk, yarar ve risk gibi ayri sorular sormak gerekiyor. baska erken sinyaller de var. bir kullanici, siniflandirma ve yonlendirme icin yaptigi yaklasik 5 bin istegin 2 dolar civarinda tuttugunu soyledi. fx ekibi, guvenlik siniflandirmasinda p95 gecikmesinin 5 ile 18 kat azaldigini ve dogrulugun kullandiklari modele gore daha yuksek oldugunu bildirdi. @vercel de jevi ai gateway uzerinden kullanima acti. bunlar umut verici. fakat tarafsiz benchmarklar degil. erken kullanici ve is ortagi sinyalleri. jev hakkindaki en ilginc bagimsiz calismalardan biri de jevlike. oxfordda bilgisayar bilimi doktorasi yapan vincent wang mascianica, jevin kamuya acik giris ve cikis bicimine bakarak acik kaynak bir model yazdi. paylasim 108 bin goruntulenmeye, repo inceleme sirasinda 306 yildiza ulasti (bu threadi yazarken). jevlike, her secenegi metne sorulan ayri bir soru gibi ele aliyor. her soru metnin ilgili bolumlerine bakiyor. sonra tum secenekler tek geciste puanlaniyor. bu, kelime kelime yazi yazmadan nasil karar verilebilecegini gercek kodla gosteriyor. proje sentetik menulerde yuzde 98 dogruluk bildirdi. wikispeedia verisinde sonuc yuzde 26 ile 29 oldu. sekiz secenekte, 400 token yazmaya zorlanan kucuk bir modele gore yaklasik 100 kat daha hizliydi. fakat tersine muhendislik kismini dikkatli okumak gerekiyor. vincent, jevin kodunu, agirliklarini, egitim verisini veya gercek mimarisini gormedi. kendi readmesi de bunun jevin kopyasi olmadigini acikca soyluyor. jevlike, jevin nasil calistigini kanitlamiyor. jevin aciklanan davranisinin daha basit bir mimariyle mumkun oldugunu gosteriyor. proje daha sonra doom ve satranc denemeleri de ekledi. sonuclar mucize degil. satranc modeli rastgele rakibe karsi 50 macta 4 kez kazandi. en dusuk stockfish seviyesine karsi hic kazanamadi. bu aslinda projenin guvenilirligini artiran bir ayrinti. yazar yalnizca iyi gorunen videoyu degil, sinirlari ve basarisizliklari da yayinliyor. peki jev neden bu kadar hype yaratti. ilk video 26,2 milyon goruntulendi. en buyuk alinti gonderileri 1,33 milyon ve 1,04 milyon goruntulenmeye ulasti (sayilar bu tweeti attiktan sonra artmis olabilir). viral dalgasi tamamen organik degildi. inceledigim ust siradaki iki olumlu alinti gonderisinde x uzerinde paid partnership etiketi vardi. bu urunun kotu oldugunu gostermiyor. teknoloji ile planli tanitimin sadece planli cikisini yansitiyor. simdi elestirilere gelelim. en guclu elestiri, elma ile armut karsilastirmasi. bu elestiri dogru. jev metin, kod veya aciklama yazamiyor. chatgpt ve claude bunlari yapabiliyor. bu nedenle jev 200x daha hizli demek cok da dogru degil. ayni karar gorevinde 200x daha hizli demek daha dogru. ikinci elestiri, sifir halusinasyon sozu. jev gecersiz veri bicimi veya listede olmayan uydurma bir secenek vermiyor. fakat gecerli seceneklerden yanlis olani secebilir. typesafein kendi dokumani da guven yuzdesinin tek bir cevabin dogrulugunu garanti etmedigini acikca soyluyor. sifir tip hatasi savunulabilir. sifir yanlis cevap savunulamaz. ucuncu elestiri, kanitlarin simdilik buyuk oranda sirketten gelmesi. typesafein dort resmi testini typesafe ekibi hazirladi. referans cevaplar insanlardan degil, openai astra ve anthropic fable modellerinin ortalamasindan geldi. sirket yontemi, sorulari ve uyusmazliklari yayinliyor. bu iyi. fakat sonuclar hala bagimsiz bir standart veya standard benchmarklarla olculmedi. doom videosu da etkileyici gorunuyor. fakat jev piksel gormuyor. konum, dusman ve nesne bilgileri ona hazir veri olarak veriliyor. typesafe da ai olmayan klasik bir botun daha iyi oynayabilecegini kabul ediyor. demo gorme yetenegini veya genel zekayi degil, yapilandirilmis veri uzerinden saniyede cok sayida karar almayi gosteriyor. en ilginc dipnot ise sirket sozlesmesinde. typesafe, musteri verilerini onay olmadan model agirliklarini egitmek icin kullanmayacagini soyluyor. fakat ayni sozlesme, musterilerin hizmet hakkinda performans veya benchmark bilgisi yayinlamasini yasakliyor. bu kosul, zaten kapali olan bir modelin bagimsiz ve kamuya acik bicimde dogrulanmasini daha da zorlastiriyor. ben bundan sonra uc seye bakacagim. gercek islerde dogruluk. fiyatlarin kalici olup olmadigi. bagimsiz testlerin yayinlanabilmesi. cunku hizli ve ucuz olmak tek basina yeterli degil. yanlis karar milyon kez tekrarlandiginda, ucuz hata pahali hale gelir.