AI sektöründeki son gelişmeler bazı kişiler tarafından dördüncü sanayi devrimi olarak görülmektedir. Büyük modellerin ortaya çıkışı, birçok sektörde verimliliği önemli ölçüde artırmıştır. Boston Consulting Group, GPT'nin ABD'de yaklaşık %20 oranında iş verimliliğini artırdığını düşünmektedir. Aynı zamanda büyük modellerin sağladığı genelleme yeteneği, yeni bir yazılım tasarımı paradigması olarak görülmektedir; geçmişte yazılım tasarımı kesin kodlar iken, günümüz yazılım tasarımı daha genelleştirilmiş büyük model çerçevelerinin yazılıma entegre edilmesine dayanmaktadır. Bu yazılımlar daha iyi performans sergileyebilir ve daha geniş modalite girdi ve çıktısını destekleyebilir. Derin öğrenme teknolojisi gerçekten de AI sektörüne dördüncü bir refah getirmiştir ve bu dalga Crypto sektörüne de yayılmıştır.
Bu rapor, AI endüstrisinin gelişim tarihi, teknoloji sınıflandırması ve derin öğrenme teknolojisinin icadının sektöre etkisini ayrıntılı olarak inceleyecektir. Ardından, derin öğrenmede GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi endüstri zincirinin yukarı ve aşağı akışını derinlemesine analiz edecek ve gelişim durumu ile eğilimlerini ele alacağız. Daha sonra, Crypto ile AI endüstrisi arasındaki ilişkiyi esasen ayrıntılı olarak inceleyecek ve Crypto ile ilgili AI endüstri zinciri yapısını gözden geçireceğiz.
AI sektörünün gelişim tarihi
Yapay zeka endüstrisi 1950'li yıllarda başladı, yapay zekanın vizyonunu gerçekleştirmek için akademik ve sanayi dünyası farklı dönemlerde ve farklı disiplin arka planlarıyla birçok yapay zeka uygulama akımı geliştirdi.
Modern yapay zeka teknolojilerinde en çok kullanılan terim "makine öğrenimi"dir. Bu tekniğin fikri, makinelerin verilere dayanarak görevlerde tekrar tekrar iterasyon yaparak sistem performansını iyileştirmesidir. Temel adımlar, verileri algoritmaya göndermek, bu verileri kullanarak modeli eğitmek, modeli test edip dağıtmak ve modeli otomatik tahmin görevlerini tamamlamak için kullanmaktır.
Şu anda makine öğreniminde üç ana akım vardır: bağlantıcıcılık, sembolistlik ve davranışçılık, bunlar sırasıyla insanın sinir sistemini, düşüncesini ve davranışını taklit eder.
Ve şu anda sinir ağları ile temsil edilen bağlantıcılık, ( derin öğrenme olarak da bilinen bir üstünlük sağlamaktadır, bunun başlıca nedeni bu mimarinin bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve sinir hücresi ) parametreleri ( yeterince fazla olduğunda, karmaşık genel görevleri uyarlamak için yeterli fırsat vardır. Veri girişi ile sinir hücrelerinin parametreleri sürekli olarak ayarlanabilir, bu nedenle sonunda birçok veri ile deneyimleyen sinir hücresi, en iyi duruma ulaşacaktır ) parametreleri (, bu da "büyük güç, harikalar yaratır" dediğimiz şeydir ve bu da "derin" kelimesinin kökenidir - yeterince fazla katman ve sinir hücresi.
Bir örnek vermek gerekirse, basit bir şekilde bir fonksiyon inşa ettiğimizi anlayabiliriz. Bu fonksiyona X=2 girdiğimizde Y=3; X=3 girdiğimizde Y=5 oluyor. Eğer bu fonksiyonun tüm X'lere uygun olmasını istiyorsak, bu fonksiyonun derecesini ve parametrelerini sürekli olarak eklememiz gerekiyor. Örneğin, şu anda bu koşulu karşılayan bir fonksiyon olarak Y = 2X - 1 oluşturabiliyorum, ancak eğer X=2, Y=11 olan bir veri varsa, bu üç veri noktasına uygun yeni bir fonksiyon yeniden inşa etmem gerekiyor. GPU kullanarak kaba kuvvetle çözüm bulduğumda Y = X² - 3X + 5'in oldukça uygun olduğunu keşfettim; ancak verilerle tamamen örtüşmesine gerek yok, sadece dengeyi koruması ve benzer bir çıktı vermesi yeterli. Burada X², X ve X₀ farklı nöronları temsil ediyor ve 1, -3, 5 ise onun parametreleri.
Bu durumda, eğer sinir ağına büyük miktarda veri girersek, yeni verileri uyum sağlamak için nöronları artırabilir ve parametreleri yineleyebiliriz. Böylece tüm verileri uyum sağlayabiliriz.
Ve sinir ağına dayalı derin öğrenme teknolojisi, yukarıdaki resimde görülen en erken sinir ağları, ileri beslemeli sinir ağı, RNN, CNN, GAN gibi birçok teknik iterasyon ve evrim geçirmiştir. Son olarak, modern büyük modellerin (örneğin, GPT) kullandığı Transformer teknolojisine evrimleşmiştir. Transformer teknolojisi, sinir ağlarının sadece bir evrim yönüdür ve ) Transformer ( olarak adlandırılan bir dönüştürücü ekleyerek, tüm modaliteleri ), ses, video, resim gibi ( verileri, karşılık gelen sayılarla temsil edecek şekilde kodlamayı sağlar. Daha sonra bu veriler sinir ağına girdirilir, böylece sinir ağı her türlü veriyi modelleyebilir, yani çok modallığı gerçekleştirebilir.
![Yeni Bilgilendirme丨AI x Kripto: Sıfırdan Zirveye])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Yapay zeka gelişimi üç teknik dalga geçirdi, birinci dalga 1960'lı yıllarda, yapay zeka teknolojisinin ortaya çıkmasından on yıl sonra, bu dalga sembolist teknolojinin gelişimi ile tetiklendi. Bu teknoloji, genel doğal dil işleme ve insan-makine diyalog sorunlarını çözdü. Aynı dönemde, uzman sistemler doğdu, bu Stanford Üniversitesi tarafından tamamlanan DENRAL uzman sistemidir, bu sistem, kimya bilgisi açısından oldukça güçlüdür ve sorular aracılığıyla çıkarım yaparak kimya uzmanı ile aynı cevapları üretir. Bu kimya uzmanı sistemi, kimya bilgi tabanı ve çıkarım sisteminin birleşimi olarak değerlendirilebilir.
Uzman sistemlerin ardından, 1990'larda Judea Pearl), Bayes ağını önerdi; bu ağ aynı zamanda inanç ağı olarak da bilinir. Aynı dönemde, Brooks, davranış temelli robotik önerdi ve bu, davranışçılığın doğuşunu simgeliyor.
1997'de, IBM'in derin mavi "Blue" 3.5:2.5 ile satranç şampiyonu Kasparov'u (Kasparov) yendi. Bu zafer, yapay zekanın bir dönüm noktası olarak kabul edildi ve AI teknolojisi ikinci bir gelişim dalgasına girdi.
Üçüncü AI teknoloji dalgası 2006 yılında gerçekleşti. Derin öğrenme üçlüsü Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını mimari olarak kullanan ve verileri temsil öğrenimi üzerine bir algoritma olan derin öğrenmenin kavramını ortaya koydu. Daha sonra derin öğrenme algoritmaları, RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrimleşti; bu iki algoritma, üçüncü teknoloji dalgasını şekillendirdi ve bu, bağlantıcılığın altın çağıdır.
Derin öğrenme teknolojisinin keşfi ve evrimiyle birlikte birçok ikonik olay da ortaya çıkmaya başladı, bunlar arasında:
2011 yılında, IBM'in Watson(, "Tehlike Sınırı") adlı bilgi yarışmasında insanları yenerek şampiyon oldu.
2014 yılında, Goodfellow GAN( Üretken Karşıt Ağlar (Generative Adversarial Network)) önerdi. İki sinir ağının birbirleriyle rekabet ederek öğrenmesini sağlayarak, gerçekçi fotoğraflar üretebilmektedir. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir başlangıç kitabı olan "Deep Learning" adlı bir kitap yazmıştır, bu kitap "flower book" olarak adlandırılmaktadır.
2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmalarını önerdiler, bu derin öğrenme yönteminin önerilmesi, akademik çevrede ve sanayi dünyasında büyük bir yankı uyandırdı.
2015 yılında OpenAI kuruldu, Musk, YC Başkanı Altman, risk sermayedarı Peter Thiel( ve diğerleri 1 milyar dolar ortak yatırım yaptıklarını açıkladı.
2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünya şampiyonu ve profesyonel dokuzuncu dan oyuncusu Lee Sedol ile Go insan-makine savaşında 4-1'lik toplam skorla kazandı.
2017 yılında, Hanson Robotics tarafından geliştirilen insansı robot Sophia, tarihte birinci sınıf vatandaşlık kazanan ilk robot olarak adlandırılmakta olup, zengin yüz ifadelerine ve insan dili anlama yeteneğine sahiptir.
2017'de Google, "Attention is all you need" başlıklı bir makale yayınlayarak Transformer algoritmasını tanıttı ve büyük ölçekli dil modelleri ortaya çıkmaya başladı.
2018 yılında, OpenAI, Transformer algoritmasına dayanan GPT) Generative Pre-trained Transformer('ı piyasaya sürdü, bu o zamanın en büyük dil modellerinden biriydi.
2018'de, Google ekibi Deepmind, derin öğrenmeye dayalı AlphaGo'yu piyasaya sürdü ve bu, proteinlerin yapı tahmini yapabilme yeteneği ile yapay zeka alanında büyük bir ilerleme işareti olarak kabul edildi.
2019'da OpenAI, 1.5 milyar parametreye sahip GPT-2 modelini yayınladı.
2020 yılında, OpenAI tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup, önceki versiyon GPT-2'ye göre 100 kat daha fazladır. Bu model, 570 GB metin kullanarak eğitilmiştir ve çoklu NLP) doğal dil işleme( görevlerinde) soru yanıtlama, çeviri, makale yazma( konusunda en son performansı sergileyebilmektedir.
2021'de OpenAI, 1.76 trilyon parametreye sahip GPT-4'ü yayınladı, bu model GPT-3'ün 10 katıdır.
2023 yılında GPT-4 modeline dayalı ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarihin en hızlı bir milyar kullanıcıya ulaşan uygulaması oldu.
2024'te, OpenAI GPT-4 omni'yi tanıttı.
Not: Yapay zeka ile ilgili çok sayıda makale, birçok akım ve farklı teknolojik evrimler bulunduğundan, burada esas olarak derin öğrenme veya bağlantıcıcılığın gelişim tarihi takip edilmektedir, diğer akımlar ve teknolojiler hala hızlı bir gelişim sürecindedir.
![Yeni Bilgilendirme丨AI x Kripto: Sıfırdan Zirveye])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Derin Öğrenme Sanayi Zinciri
Mevcut büyük model dilleri, sinir ağlarına dayalı derin öğrenme yöntemlerini kullanmaktadır. GPT'nin öncülüğündeki büyük modeller, yapay zeka alanında bir dalga yaratmış, çok sayıda oyuncu bu alana akın etmiştir. Ayrıca, piyasanın veri ve hesaplama gücüne olan talebinin büyük bir patlama yaşadığını gözlemliyoruz. Bu nedenle, raporun bu bölümünde, derin öğrenme algoritmalarının sanayi zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu AI sektöründe, üst ve alt akış nasıl oluşmaktadır ve üst ve alt akışın mevcut durumu ile arz-talep ilişkisi, gelecekteki gelişimi nasıldır.
Öncelikle netleştirmemiz gereken şey, Transformer teknolojisine dayanan GPT öncülüğündeki LLM'lerin ) büyük modelinin ( eğitiminde toplam üç aşama olduğu.
Eğitimden önce, Transformer tabanlı olduğu için, dönüştürücünün metin girişini sayılara dönüştürmesi gerekir. Bu işleme "Tokenizasyon" denir ve bu süreçte elde edilen sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak düşünülebilirken, her bir Çince karakter kabaca iki Token olarak değerlendirilebilir. Bu, GPT fiyatlandırmasında kullanılan temel birimdir.
İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, raporun ilk bölümünde örnek verilen )X,Y( gibi, bu model altındaki her bir nöronun en iyi parametrelerini bulmak, bu sırada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronların çeşitli parametreleri denemesi gerektiğinden en fazla hesaplama gücünü tüketen süreçtir. Bir veri çiftinin eğitimi tamamlandıktan sonra, genellikle aynı veri grubu ile parametreleri yinelemek için ikinci bir eğitim yapılır.
İkinci adım, ince ayar. İnce ayar, daha az ama çok kaliteli bir veri kümesi vererek eğitim yapmak anlamına gelir; bu tür bir değişiklik, modelin çıktısının daha yüksek kalitede olmasını sağlar çünkü ön eğitim büyük miktarda veri gerektirir, ancak birçok veri hatalı veya düşük kaliteli olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.
Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz. Bu modelin amacı oldukça basit; çıktıları sıralamaktır. Bu nedenle, bu modeli oluşturmak daha kolay olacaktır çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli, büyük modelimizin çıktısının yüksek kaliteli olup olmadığını değerlendirmek için kullanacağız. Böylece, büyük modelin parametrelerini otomatik olarak yinelemek için bir ödül modeli kullanabiliriz. ) Ancak bazen modelin çıktı kalitesini değerlendirmek için insan müdahalesi de gerekebilir. (
Kısacası, büyük modelin eğitim sürecinde, ön eğitim verinin miktarı için çok yüksek taleplere sahiptir ve gereken GPU hesaplama gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar. Pekiştirmeli öğrenme, daha yüksek kaliteli sonuçlar çıkarmak için bir ödül modeli aracılığıyla parametreleri tekrar tekrar yineleyebilir.
Eğitim sürecinde, parametre sayısı arttıkça genel yetenek tavanı da yükselir. Örneğin, bir fonksiyon örneği olarak Y = aX + b alırsak, gerçekte iki nöron vardır: X ve X0. Bu nedenle, parametreler nasıl değişirse değişsin, uyum sağlayabileceği veri miktarı son derece sınırlıdır, çünkü özünde hala bir doğru çizgisidir. Nöron sayısı arttıkça, daha fazla parametre iterasyonu yapabiliriz; bu da daha fazla veriyi uyumlayabileceğimiz anlamına gelir. İşte büyük modellerin mucizeler yaratmasının nedeni budur ve aynı zamanda halk arasında büyük model olarak adlandırılmasının sebebi de budur; özünde devasa nöronlar ve parametreler, devasa verilerle birlikte, aynı zamanda devasa hesaplama gücü gerektirir.
Bu nedenle, büyük modelin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini ortaklaşa etkiler. Parametre sayısının p, veri miktarının n) Token sayısı cinsinden hesaplandığını varsayalım(, bu durumda gerekli hesaplama miktarını genel deneysel kurallar ile hesaplayabiliriz. Böylece, yaklaşık olarak ne kadar hesaplama gücü satın almamız gerektiğini ve eğitim süresini tahmin edebiliriz.
Hesaplama gücü genellikle Flops ile temel birim olarak ifade edilir.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
5 Likes
Reward
5
7
Share
Comment
0/400
GateUser-43d6d1b5
· 5h ago
1000x Vibes 🤑
Reply0
AirdropLicker
· 7h ago
Bir sonraki boğa koşusunda airdrop için beklemeyin.
View OriginalReply0
PumpDoctrine
· 7h ago
boğa bu kadar büyükse, yükselişin olup olmaması önemli.
View OriginalReply0
LayerHopper
· 7h ago
Blok zinciri çılgın dönem sona erdi, sabit disk madenciliği şimdi daha cazip.
Yapay Zeka ve Kripto Varlıkların Sınır Ötesi Entegrasyonu: Derin Öğrenme Sektörün Yapısını Nasıl Yeniden Şekillendiriyor
AI ve Kripto: Sıfırdan Zirveye
AI sektöründeki son gelişmeler bazı kişiler tarafından dördüncü sanayi devrimi olarak görülmektedir. Büyük modellerin ortaya çıkışı, birçok sektörde verimliliği önemli ölçüde artırmıştır. Boston Consulting Group, GPT'nin ABD'de yaklaşık %20 oranında iş verimliliğini artırdığını düşünmektedir. Aynı zamanda büyük modellerin sağladığı genelleme yeteneği, yeni bir yazılım tasarımı paradigması olarak görülmektedir; geçmişte yazılım tasarımı kesin kodlar iken, günümüz yazılım tasarımı daha genelleştirilmiş büyük model çerçevelerinin yazılıma entegre edilmesine dayanmaktadır. Bu yazılımlar daha iyi performans sergileyebilir ve daha geniş modalite girdi ve çıktısını destekleyebilir. Derin öğrenme teknolojisi gerçekten de AI sektörüne dördüncü bir refah getirmiştir ve bu dalga Crypto sektörüne de yayılmıştır.
Bu rapor, AI endüstrisinin gelişim tarihi, teknoloji sınıflandırması ve derin öğrenme teknolojisinin icadının sektöre etkisini ayrıntılı olarak inceleyecektir. Ardından, derin öğrenmede GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi endüstri zincirinin yukarı ve aşağı akışını derinlemesine analiz edecek ve gelişim durumu ile eğilimlerini ele alacağız. Daha sonra, Crypto ile AI endüstrisi arasındaki ilişkiyi esasen ayrıntılı olarak inceleyecek ve Crypto ile ilgili AI endüstri zinciri yapısını gözden geçireceğiz.
AI sektörünün gelişim tarihi
Yapay zeka endüstrisi 1950'li yıllarda başladı, yapay zekanın vizyonunu gerçekleştirmek için akademik ve sanayi dünyası farklı dönemlerde ve farklı disiplin arka planlarıyla birçok yapay zeka uygulama akımı geliştirdi.
Modern yapay zeka teknolojilerinde en çok kullanılan terim "makine öğrenimi"dir. Bu tekniğin fikri, makinelerin verilere dayanarak görevlerde tekrar tekrar iterasyon yaparak sistem performansını iyileştirmesidir. Temel adımlar, verileri algoritmaya göndermek, bu verileri kullanarak modeli eğitmek, modeli test edip dağıtmak ve modeli otomatik tahmin görevlerini tamamlamak için kullanmaktır.
Şu anda makine öğreniminde üç ana akım vardır: bağlantıcıcılık, sembolistlik ve davranışçılık, bunlar sırasıyla insanın sinir sistemini, düşüncesini ve davranışını taklit eder.
Ve şu anda sinir ağları ile temsil edilen bağlantıcılık, ( derin öğrenme olarak da bilinen bir üstünlük sağlamaktadır, bunun başlıca nedeni bu mimarinin bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve sinir hücresi ) parametreleri ( yeterince fazla olduğunda, karmaşık genel görevleri uyarlamak için yeterli fırsat vardır. Veri girişi ile sinir hücrelerinin parametreleri sürekli olarak ayarlanabilir, bu nedenle sonunda birçok veri ile deneyimleyen sinir hücresi, en iyi duruma ulaşacaktır ) parametreleri (, bu da "büyük güç, harikalar yaratır" dediğimiz şeydir ve bu da "derin" kelimesinin kökenidir - yeterince fazla katman ve sinir hücresi.
Bir örnek vermek gerekirse, basit bir şekilde bir fonksiyon inşa ettiğimizi anlayabiliriz. Bu fonksiyona X=2 girdiğimizde Y=3; X=3 girdiğimizde Y=5 oluyor. Eğer bu fonksiyonun tüm X'lere uygun olmasını istiyorsak, bu fonksiyonun derecesini ve parametrelerini sürekli olarak eklememiz gerekiyor. Örneğin, şu anda bu koşulu karşılayan bir fonksiyon olarak Y = 2X - 1 oluşturabiliyorum, ancak eğer X=2, Y=11 olan bir veri varsa, bu üç veri noktasına uygun yeni bir fonksiyon yeniden inşa etmem gerekiyor. GPU kullanarak kaba kuvvetle çözüm bulduğumda Y = X² - 3X + 5'in oldukça uygun olduğunu keşfettim; ancak verilerle tamamen örtüşmesine gerek yok, sadece dengeyi koruması ve benzer bir çıktı vermesi yeterli. Burada X², X ve X₀ farklı nöronları temsil ediyor ve 1, -3, 5 ise onun parametreleri.
Bu durumda, eğer sinir ağına büyük miktarda veri girersek, yeni verileri uyum sağlamak için nöronları artırabilir ve parametreleri yineleyebiliriz. Böylece tüm verileri uyum sağlayabiliriz.
Ve sinir ağına dayalı derin öğrenme teknolojisi, yukarıdaki resimde görülen en erken sinir ağları, ileri beslemeli sinir ağı, RNN, CNN, GAN gibi birçok teknik iterasyon ve evrim geçirmiştir. Son olarak, modern büyük modellerin (örneğin, GPT) kullandığı Transformer teknolojisine evrimleşmiştir. Transformer teknolojisi, sinir ağlarının sadece bir evrim yönüdür ve ) Transformer ( olarak adlandırılan bir dönüştürücü ekleyerek, tüm modaliteleri ), ses, video, resim gibi ( verileri, karşılık gelen sayılarla temsil edecek şekilde kodlamayı sağlar. Daha sonra bu veriler sinir ağına girdirilir, böylece sinir ağı her türlü veriyi modelleyebilir, yani çok modallığı gerçekleştirebilir.
![Yeni Bilgilendirme丨AI x Kripto: Sıfırdan Zirveye])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
Yapay zeka gelişimi üç teknik dalga geçirdi, birinci dalga 1960'lı yıllarda, yapay zeka teknolojisinin ortaya çıkmasından on yıl sonra, bu dalga sembolist teknolojinin gelişimi ile tetiklendi. Bu teknoloji, genel doğal dil işleme ve insan-makine diyalog sorunlarını çözdü. Aynı dönemde, uzman sistemler doğdu, bu Stanford Üniversitesi tarafından tamamlanan DENRAL uzman sistemidir, bu sistem, kimya bilgisi açısından oldukça güçlüdür ve sorular aracılığıyla çıkarım yaparak kimya uzmanı ile aynı cevapları üretir. Bu kimya uzmanı sistemi, kimya bilgi tabanı ve çıkarım sisteminin birleşimi olarak değerlendirilebilir.
Uzman sistemlerin ardından, 1990'larda Judea Pearl), Bayes ağını önerdi; bu ağ aynı zamanda inanç ağı olarak da bilinir. Aynı dönemde, Brooks, davranış temelli robotik önerdi ve bu, davranışçılığın doğuşunu simgeliyor.
1997'de, IBM'in derin mavi "Blue" 3.5:2.5 ile satranç şampiyonu Kasparov'u (Kasparov) yendi. Bu zafer, yapay zekanın bir dönüm noktası olarak kabul edildi ve AI teknolojisi ikinci bir gelişim dalgasına girdi.
Üçüncü AI teknoloji dalgası 2006 yılında gerçekleşti. Derin öğrenme üçlüsü Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını mimari olarak kullanan ve verileri temsil öğrenimi üzerine bir algoritma olan derin öğrenmenin kavramını ortaya koydu. Daha sonra derin öğrenme algoritmaları, RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrimleşti; bu iki algoritma, üçüncü teknoloji dalgasını şekillendirdi ve bu, bağlantıcılığın altın çağıdır.
Derin öğrenme teknolojisinin keşfi ve evrimiyle birlikte birçok ikonik olay da ortaya çıkmaya başladı, bunlar arasında:
2011 yılında, IBM'in Watson(, "Tehlike Sınırı") adlı bilgi yarışmasında insanları yenerek şampiyon oldu.
2014 yılında, Goodfellow GAN( Üretken Karşıt Ağlar (Generative Adversarial Network)) önerdi. İki sinir ağının birbirleriyle rekabet ederek öğrenmesini sağlayarak, gerçekçi fotoğraflar üretebilmektedir. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir başlangıç kitabı olan "Deep Learning" adlı bir kitap yazmıştır, bu kitap "flower book" olarak adlandırılmaktadır.
2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmalarını önerdiler, bu derin öğrenme yönteminin önerilmesi, akademik çevrede ve sanayi dünyasında büyük bir yankı uyandırdı.
2015 yılında OpenAI kuruldu, Musk, YC Başkanı Altman, risk sermayedarı Peter Thiel( ve diğerleri 1 milyar dolar ortak yatırım yaptıklarını açıkladı.
2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünya şampiyonu ve profesyonel dokuzuncu dan oyuncusu Lee Sedol ile Go insan-makine savaşında 4-1'lik toplam skorla kazandı.
2017 yılında, Hanson Robotics tarafından geliştirilen insansı robot Sophia, tarihte birinci sınıf vatandaşlık kazanan ilk robot olarak adlandırılmakta olup, zengin yüz ifadelerine ve insan dili anlama yeteneğine sahiptir.
2017'de Google, "Attention is all you need" başlıklı bir makale yayınlayarak Transformer algoritmasını tanıttı ve büyük ölçekli dil modelleri ortaya çıkmaya başladı.
2018 yılında, OpenAI, Transformer algoritmasına dayanan GPT) Generative Pre-trained Transformer('ı piyasaya sürdü, bu o zamanın en büyük dil modellerinden biriydi.
2018'de, Google ekibi Deepmind, derin öğrenmeye dayalı AlphaGo'yu piyasaya sürdü ve bu, proteinlerin yapı tahmini yapabilme yeteneği ile yapay zeka alanında büyük bir ilerleme işareti olarak kabul edildi.
2019'da OpenAI, 1.5 milyar parametreye sahip GPT-2 modelini yayınladı.
2020 yılında, OpenAI tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup, önceki versiyon GPT-2'ye göre 100 kat daha fazladır. Bu model, 570 GB metin kullanarak eğitilmiştir ve çoklu NLP) doğal dil işleme( görevlerinde) soru yanıtlama, çeviri, makale yazma( konusunda en son performansı sergileyebilmektedir.
2021'de OpenAI, 1.76 trilyon parametreye sahip GPT-4'ü yayınladı, bu model GPT-3'ün 10 katıdır.
2023 yılında GPT-4 modeline dayalı ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarihin en hızlı bir milyar kullanıcıya ulaşan uygulaması oldu.
2024'te, OpenAI GPT-4 omni'yi tanıttı.
Not: Yapay zeka ile ilgili çok sayıda makale, birçok akım ve farklı teknolojik evrimler bulunduğundan, burada esas olarak derin öğrenme veya bağlantıcıcılığın gelişim tarihi takip edilmektedir, diğer akımlar ve teknolojiler hala hızlı bir gelişim sürecindedir.
![Yeni Bilgilendirme丨AI x Kripto: Sıfırdan Zirveye])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Derin Öğrenme Sanayi Zinciri
Mevcut büyük model dilleri, sinir ağlarına dayalı derin öğrenme yöntemlerini kullanmaktadır. GPT'nin öncülüğündeki büyük modeller, yapay zeka alanında bir dalga yaratmış, çok sayıda oyuncu bu alana akın etmiştir. Ayrıca, piyasanın veri ve hesaplama gücüne olan talebinin büyük bir patlama yaşadığını gözlemliyoruz. Bu nedenle, raporun bu bölümünde, derin öğrenme algoritmalarının sanayi zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu AI sektöründe, üst ve alt akış nasıl oluşmaktadır ve üst ve alt akışın mevcut durumu ile arz-talep ilişkisi, gelecekteki gelişimi nasıldır.
Öncelikle netleştirmemiz gereken şey, Transformer teknolojisine dayanan GPT öncülüğündeki LLM'lerin ) büyük modelinin ( eğitiminde toplam üç aşama olduğu.
Eğitimden önce, Transformer tabanlı olduğu için, dönüştürücünün metin girişini sayılara dönüştürmesi gerekir. Bu işleme "Tokenizasyon" denir ve bu süreçte elde edilen sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak düşünülebilirken, her bir Çince karakter kabaca iki Token olarak değerlendirilebilir. Bu, GPT fiyatlandırmasında kullanılan temel birimdir.
İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, raporun ilk bölümünde örnek verilen )X,Y( gibi, bu model altındaki her bir nöronun en iyi parametrelerini bulmak, bu sırada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronların çeşitli parametreleri denemesi gerektiğinden en fazla hesaplama gücünü tüketen süreçtir. Bir veri çiftinin eğitimi tamamlandıktan sonra, genellikle aynı veri grubu ile parametreleri yinelemek için ikinci bir eğitim yapılır.
İkinci adım, ince ayar. İnce ayar, daha az ama çok kaliteli bir veri kümesi vererek eğitim yapmak anlamına gelir; bu tür bir değişiklik, modelin çıktısının daha yüksek kalitede olmasını sağlar çünkü ön eğitim büyük miktarda veri gerektirir, ancak birçok veri hatalı veya düşük kaliteli olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.
Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz. Bu modelin amacı oldukça basit; çıktıları sıralamaktır. Bu nedenle, bu modeli oluşturmak daha kolay olacaktır çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli, büyük modelimizin çıktısının yüksek kaliteli olup olmadığını değerlendirmek için kullanacağız. Böylece, büyük modelin parametrelerini otomatik olarak yinelemek için bir ödül modeli kullanabiliriz. ) Ancak bazen modelin çıktı kalitesini değerlendirmek için insan müdahalesi de gerekebilir. (
Kısacası, büyük modelin eğitim sürecinde, ön eğitim verinin miktarı için çok yüksek taleplere sahiptir ve gereken GPU hesaplama gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar. Pekiştirmeli öğrenme, daha yüksek kaliteli sonuçlar çıkarmak için bir ödül modeli aracılığıyla parametreleri tekrar tekrar yineleyebilir.
Eğitim sürecinde, parametre sayısı arttıkça genel yetenek tavanı da yükselir. Örneğin, bir fonksiyon örneği olarak Y = aX + b alırsak, gerçekte iki nöron vardır: X ve X0. Bu nedenle, parametreler nasıl değişirse değişsin, uyum sağlayabileceği veri miktarı son derece sınırlıdır, çünkü özünde hala bir doğru çizgisidir. Nöron sayısı arttıkça, daha fazla parametre iterasyonu yapabiliriz; bu da daha fazla veriyi uyumlayabileceğimiz anlamına gelir. İşte büyük modellerin mucizeler yaratmasının nedeni budur ve aynı zamanda halk arasında büyük model olarak adlandırılmasının sebebi de budur; özünde devasa nöronlar ve parametreler, devasa verilerle birlikte, aynı zamanda devasa hesaplama gücü gerektirir.
Bu nedenle, büyük modelin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini ortaklaşa etkiler. Parametre sayısının p, veri miktarının n) Token sayısı cinsinden hesaplandığını varsayalım(, bu durumda gerekli hesaplama miktarını genel deneysel kurallar ile hesaplayabiliriz. Böylece, yaklaşık olarak ne kadar hesaplama gücü satın almamız gerektiğini ve eğitim süresini tahmin edebiliriz.
Hesaplama gücü genellikle Flops ile temel birim olarak ifade edilir.