تا دهه 2010 طول کشید تا قدرت شبکه‌های عصبی آموزش‌دیده از طریق پس‌انتشار واقعاً تأثیر بگذارد. هینتون با کار با چند دانشجوی فارغ التحصیل نشان داد که تکنیک او در ساختن رایانه برای شناسایی اشیاء در تصاویر بهتر از هر روش دیگری است. آنها همچنین یک شبکه عصبی را برای پیش‌بینی حروف بعدی در یک جمله آموزش دادند، پیش‌گویی برای مدل‌های بزرگ زبان امروزی.
یکی از این دانشجویان فارغ التحصیل Ilya Sutskever بود که در ادامه OpenAI را تأسیس کرد و توسعه ChatGPT را رهبری کرد. هینتون می‌گوید: «ما اولین تصورات را دریافتیم که این چیزها می‌تواند شگفت‌انگیز باشد. اما زمان زیادی طول کشیده تا غرق شود، زیرا برای خوب بودن باید در مقیاس بزرگی انجام شود.» در دهه 1980، شبکه های عصبی یک شوخی بودند. ایده غالب در آن زمان، که به عنوان هوش مصنوعی نمادین شناخته می شد، این بود که هوش شامل پردازش نمادها، مانند کلمات یا اعداد است.
اما هینتون قانع نشد. او روی شبکه‌های عصبی، انتزاع‌های نرم‌افزاری مغزها کار می‌کرد که در آن نورون‌ها و ارتباطات بین آنها با کد نشان داده می‌شوند. با تغییر نحوه اتصال آن نورون‌ها – تغییر اعدادی که برای نشان دادن آنها استفاده می‌شود – شبکه عصبی را می‌توان دوباره سیم‌کشی کرد. به عبارت دیگر، می توان آن را برای یادگیری ساخت.
هینتون می‌گوید: «پدرم یک زیست‌شناس بود، بنابراین من به مفاهیم بیولوژیکی فکر می‌کردم. و استدلال نمادین به وضوح در هسته هوش بیولوژیکی قرار ندارد.
کلاغ ها می توانند پازل ها را حل کنند و زبان ندارند. آنها این کار را با ذخیره رشته‌های نمادها و دستکاری آنها انجام نمی‌دهند. آنها این کار را با تغییر نقاط قوت اتصالات بین نورون ها در مغزشان انجام می دهند. بنابراین، یادگیری چیزهای پیچیده با تغییر نقاط قوت اتصالات در یک شبکه عصبی مصنوعی باید امکان پذیر باشد.”
یک هوش جدید
برای 40 سال، هینتون شبکه های عصبی مصنوعی را تلاشی ضعیف برای تقلید از شبکه های بیولوژیکی می دانست. اکنون او فکر می کند که این تغییر کرده است: در تلاش برای تقلید از آنچه مغزهای بیولوژیکی انجام می دهند، فکر می کند، ما به چیز بهتری رسیده ایم. او می‌گوید: «وقتی آن را می‌بینی ترسناک است. “این یک تلنگر ناگهانی است.”
ترس‌های هینتون باعث می‌شود که بسیاری از افراد در داستان‌های علمی تخیلی باشند. اما مورد او اینجاست.
همانطور که از نام آنها پیداست، مدل های زبان بزرگ از شبکه های عصبی عظیم با تعداد زیادی اتصال ساخته شده اند. اما آنها در مقایسه با مغز کوچک هستند. هینتون می گوید: مغز ما 100 تریلیون اتصال دارد. مدل‌های زبان بزرگ تا نیم تریلیون و حداکثر یک تریلیون دارند. با این حال GPT-4 صدها برابر بیشتر از هر شخص دیگری می داند. بنابراین شاید در واقع الگوریتم یادگیری بسیار بهتری از ما داشته باشد.»