TL;DR

Przewaga mózgu nad AI nie wynika z architektury, ale z wyspecjalizowanych funkcji nagród wykształconych przez ewolucję
Teoria Steve’a Byrnesa dzieli mózg na Learning Subsystem (uczący się) i Steering Subsystem (sterujący z wrodzonymi reakcjami)
Kora mózgowa prawdopodobnie realizuje omnidirectional inference, a nie tylko przewidywanie następnego tokena jak LLM-y
Zaledwie 3 GB genomu wystarcza do zbudowania inteligencji, bo ewolucja koduje funkcje nagród, nie całą wiedzę
Zmapowanie całego mózgu myszy (connectomics) to projekt za niskie miliardy dolarów, który może zrewolucjonizować AI
Formalne dowodzenie w Lean staje się perfect RLVR task dla AI i może zmienić matematykę oraz cyberbezpieczeństwo
Timeline do AGI według Marblestone’a: około 10 lat, co daje czas na wyciągnięcie wniosków z neuroscience

Wstęp

Poniższe notatki pochodzą z rozmowy Dwarkesha Patela z Adamem Marblestone’em, neuroscientystą i współzałożycielem Convergent Research. Wszystkie prezentowane tu przemyślenia, obserwacje i teorie należą do rozmówców. Centralnym tematem dyskusji jest fundamentalne pytanie: dlaczego ludzki mózg uczy się tak efektywnie mimo znacznie mniejszej ilości danych niż współczesne LLM-y?

Marblestone przedstawia perspektywę, w której kluczem nie jest architektura neuronowa, ale wysoce wyspecjalizowane funkcje nagród i kosztów.

1. Quadrillion-dollar question: dlaczego mózg jest tak wydajny?

Patel zadaje pytanie przewijające się przez wszystkie jego rozmowy z badaczami AI. Dostarczamy LLM-om znacznie więcej danych, jednak one wciąż mają ułamek możliwości człowieka. Co się dzieje?

Marblestone nazywa to quadrillion-dollar question i przyznaje, że nie zna odpowiedzi. Jego główna teza brzmi: aby rozwiązać tę zagadkę, musimy wzmocnić neuroscience technologicznie.

Zaniedbana rola funkcji kosztów

Według Marblestone’a w ramach współczesnego AI możemy wyróżnić kilka kluczowych komponentów. Architektura sieci, hiperparametry jak liczba warstw, algorytm uczenia, inicjalizacja wag oraz funkcje kosztów określające, co system ma przewidywać i jaki jest sygnał nagrody.

Marblestone uważa, że pole badań zaniedbało rolę bardzo specyficznych funkcji strat i kosztów. Uczenie maszynowe preferuje matematycznie proste funkcje – przewiduj następny token, cross-entropy. Z kolei ewolucja mogła wbudować ogromną złożoność w funkcje strat.

Różne funkcje dla różnych obszarów, włączane na różnych etapach rozwoju – to jak dużo kodu Python generującego specyficzny program nauczania tego, czego różne części mózgu muszą się nauczyć. Ewolucja widziała wielokrotnie, co było skuteczne i nieskuteczne, dlatego mogła zakodować wiedzę o programie uczenia.

2. Learning Subsystem vs Steering Subsystem – teoria Steve’a Byrnesa

Patel pyta o cortex i uniwersalny algorytm uczenia człowieka. W odpowiedzi Marblestone wprowadza teorię, którą ostatnio go obsesją – koncepcję Steve’a Byrnesa, badacza bezpieczeństwa AI syntezującego wiedzę z literatury neuroscience.

Podział na dwa podsystemy

Marblestone wyjaśnia, że mózg można podzielić na Learning Subsystem i Steering Subsystem. Learning Subsystem to część ucząca się – głównie kora mózgowa. Natomiast Steering Subsystem to część z bardziej wrodzonymi odpowiedziami i funkcjami nagród – podwzgórze, pień mózgu, inne struktury podkorowe.

Kluczowe pytanie brzmi: jak ewolucja koduje wysokopoziomowe pragnienia i intencje? Marblestone przywołuje wypowiedź Ilyi Sutskevera z podcastu Patela, w której Sutskever przyznał, że nie zna dobrej teorii tego, jak ewolucja koduje te wysokopoziomowe cele.

Przykład wstydu i Yann LeCuna

Marblestone podaje przykład. Wyobraź sobie, że jest zawstydzony, bo powiedział coś złego na podcastie. Jednak ewolucja nigdy nie widziała Yann LeCuna, nie wiedziała o energy-based models, podcastach czy ważnych naukowcach. Mimo to mózg musi zakodować pragnienie, żeby nie wkurzać naprawdę ważnych ludzi w plemieniu – musi to zrobić w sposób odporny, bez znajomości z góry wszystkich rzeczy, których nauczy się Learning Subsystem.

Jak to działa: Thought Assessors

Podstawowa idea Byrnesa jest następująca. Część kory lub inne obszary jak amygdala modelują Steering Subsystem. Są części amygdaly, które potrafią monitorować i przewidywać, co te wrodzone części robią.

Steering Subsystem ma własny system sensoryczny. Myślimy o wzroku jako o czymś, co robi kora, jednak jest też podkorowy system wzrokowy zwany wzgórkami czworacznymi górnymi z wrodzoną zdolnością wykrywania twarzy czy zagrożeń.

Część amygdaly lub kory uczy się przewidywać te reakcje. Które neurony w korze są ważne dla statusu społecznego lub przyjaźni? To te, które przewidują wrodzone heurystyki przyjaźni. Trenujesz predyktor w korze i pytasz: które neurony są częścią predyktora? To są te, które właśnie udało się podłączyć.

Generalizacja przez predykcję: przykład pająka

Patel dopytuje o przykład pająka. Rozumie, że kora mogła nauczyć się, iż obraz pająka jest zły, bo wrodzona część mówi jej to, jednak jak generalizuje do sytuacji, gdy ktoś mówi słowami: pająk jest na twoich plecach? Nigdy nie dostała supervizji na to.

Marblestone wyjaśnia mechanizm. Będzie wrodzona odpowiedź w Steering Subsystem – coś małe, ciemne, kontrastowe porusza się szybko w stronę ciała, więc drgniesz. To negatywny wkład do funkcji nagrody, ale funkcja nagrody bez żadnej generalizacji.

Zrobisz jednak coś innego. Część twojej amygdaly pyta: czy kilkaset milisekund wcześniej mogłem przewidzieć tę reakcję drgnięcia? Będzie grupa neuronów stanowiąca zasadniczo klasyfikator zaraz-drgnę. Będziesz mieć klasyfikatory dla każdej ważnej zmiennej Steering Subsystem.

Teraz ten predyktor może mieć pewną generalizację, ponieważ ma zupełnie inne dane wejściowe. Może to być słowo pająk. Jeśli masz złożony model świata z bardzo złożonymi cechami, to samo w sobie daje ci generalizację – nie tylko rzecz biegająca w twoją stronę, ale nawet słowo pająk, koncepcja pająka, książka o pająkach, pokój gdzie są pająki.

Implikacje dla AI alignment

Marblestone zauważa, że koncepcja Byrnesa ma też kluczowe implikacje dla AI safety. Pytanie brzmi: jaki jest minimum viable Steering Subsystem potrzebny do uzyskania capabilities versus minimum viable set potrzebny do uzyskania human-like social instincts i etyki?

Steve Byrnes jest bardzo zaniepokojony, że minimum potrzebne do capabilities jest o wiele mniejsze niż minimum potrzebne do alignment. Możesz mieć super potężne systemy model-based RL, które optymalizują, ale nie mają większości tego, co mamy w ludzkich funkcjach nagród. W konsekwencji mogą chcieć maksymalizować spinacze.

Większość tego, dlaczego chcemy znać Steering Subsystem, według Byrnesa dotyczy powodów związanych z alignment. Dlatego potrzebujemy zrozumieć specifics funkcji nagród nie tylko dla capabilities, ale dla bezpieczeństwa.

3. Omnidirectional inference – sekret kory mózgowej

Marblestone przedstawia hipotezę o tym, co może robić kora mózgowa. Możliwość polega na tym, że to niesamowicie ogólny silnik predykcji – każdy obszar kory próbuje przewidzieć dowolny podzbiór wszystkich zmiennych, które widzi, z dowolnego innego podzbioru.

Różnica względem LLM-ów

LLM widzi wszystko w oknie kontekstu, a potem oblicza bardzo konkretne prawdopodobieństwo warunkowe. Biorąc pod uwagę wszystkie ostatnie tysiące rzeczy, jakie są prawdopodobieństwa następnego tokena.

Byłoby dziwne, gdyby duży model językowy wypełniał luki w środku zdania zamiast przewidywać następny token podczas forward pass. Może nauczyć się tego na emergentnym poziomie okna kontekstu, jednak natywnie przewiduje tylko następny token.

Co jeśli kora jest natywnie stworzona tak, że dowolny obszar kory może przewidywać dowolny wzorzec w dowolnym podzbiorze swoich wejść, biorąc pod uwagę dowolny inny brakujący podzbiór? Marblestone zauważa, że wiele z tego, co mówi, jest bardzo podobne do tego, co powiedziałby Yann LeCun, który jest zainteresowany energy-based models.

Clamping i sampling: przewidywanie w każdą stronę

Jeśli zaciśniesz niektóre zmienne i powiesz, że te zmienne są w tych stanach, możesz obliczyć z probabilistic sampling – warunkując na tym, że te są ustawione w tym stanie – czy mogę przewidzieć, co zrobi dowolny inny podzbiór i próbkować z niego.

Mogłyby być części kory, obszary asocjacyjne, które przewidują wzrok z słuchu. Obszary przewidujące rzeczy, które zrobi bardziej wrodzona część mózgu. Całość jeździ na wierzchu mózgu i ciała jaszczurki, więc to też rzecz wartą przewidywania.

Nie przewidujesz tylko, czy widzę to, czy tamto. Czy ten mięsień zaraz się napnie? Czy zaraz będę miał odruch śmiechu? Czy moje tętno zaraz wzrośnie? Czy zaraz aktywuję instynktowne zachowanie?

Czy możemy to zrobić w AI?

Patel pyta bardzo naiwne, ale istotne pytanie: dlaczego nie możemy osiągnąć omnidirectional inference po prostu trenując model nie tylko do mapowania tokena na następny token, ale usuwając maski w treningu, żeby mapował każdy token na każdy inny?

Marblestone odpowiada, że może to być sposób. Nie jest dla niego jasne. Niektórzy ludzie myślą, że jest inny sposób, jak mózg robi probabilistic inference, lub inny algorytm uczenia, który nie jest backpropem.

Jest jednak wersja, gdzie to, co robi mózg, to kiepskie wersje backpropu, żeby nauczyć się przewidywać przez kilka warstw. I że to trochę jak multimodalny foundation model. LLM-y może przewidują tylko następny token, ale modele wizyjne może są trenowane do wypełniania luk lub rekonstrukcji różnych kawałków, jednak robi to w ekstremalnie elastyczny sposób.

Jeśli wytrenujesz model do wypełniania luki w centrum, to świetnie, ale co jeśli nie wytrenujesz go do wypełniania tej innej luki po lewej? Wtedy nie wie, jak to zrobić. Z kolei z naprawdę potężnym systemem inferencji możesz wybrać w test time, jaki jest podzbiór zmiennych do wnioskowania i które są zaciśnięte.

4. Amortized inference: kluczowa różnica między mózgiem a AI

Patel chce porozmawiać o idei amortized inference, którą Marblestone wspomniał. Próbuje wyjaśnić, co myśli, że to znaczy.

Czym jest amortized inference?

Obecnie modele działają tak, że masz input, mapuje się na output, i to amortyzuje proces – prawdziwy proces, który myślimy, że jest inteligencją. Masz jakiś prior nad tym, jak świat mógłby być, jakie są przyczyny sprawiające, że świat jest taki, jaki jest. A potem gdy widzisz jakąś obserwację, powinieneś być jak: oto wszystkie sposoby, jak świat mógłby być, ta przyczyna najlepiej wyjaśnia, co się dzieje.

Robienie tej kalkulacji nad każdą możliwą przyczyną jest computationally intractable. Więc musisz po prostu sampelować – oto potencjalna przyczyna, czy to wyjaśnia tę obserwację? Nie, zapomnij o tym, sampelujmy dalej.

Marblestone mówi, że to całkiem dobre. Bayesian inference w ogóle jest bardzo intractable. Algorytmy, które mamy do tego, zwykle wymagają brania wielu próbek. A branie próbek zajmuje czas.

Amortyzacja jako skrót

Patel kontynuuje – domyślam się, że idea jest taka, iż sieci neuronowe są nadzieją. Oczywiście mechanistycznie sieć neuronowa nie zaczyna od oto mój model świata, spróbuję wyjaśnić te dane, jednak nadzieja jest, że zamiast zaczynać od czy ta przyczyna wyjaśnia tę obserwację, robisz po prostu obserwacja → przyczyna.

Marblestone zgadza się – nie musisz ewaluować wszystkich tych wartości energii, sampelować wokół, żeby je podnieść i obniżyć. Po prostu mówisz, w przybliżeniu ten proces zaowocowałby tym, że to jest top one.

Test-time compute jako de-amortyzacja

Patel zauważa coś interesującego. Jeden sposób myślenia o tym może być, że test-time compute, inference-time compute, faktycznie robi to sampelowanie znowu. Dosłownie czytasz jego chain of thought – faktycznie robi ten toy example, o którym mówimy.

To podnosi pytanie. Z czasem jest prawdą, że capabilities, które wymagały inference-time compute do wywołania, zostają zdestylowane do modelu. Więc amortyizujesz rzecz, która wcześniej wymagała tych rolloutów, tych Monte Carlo rollouts.

Cyfrowe vs biologiczne umysły: różne kompromisy

Patel kontynuuje fascynujący wątek. Ogólnie może jest taka zasada, że cyfrowe umysły, które mogą być kopiowane, mają inne kompromisy istotne dla biologicznych umysłów, które nie mogą.

Ogólnie powinno mieć sens amortyzować więcej rzeczy, bo możesz dosłownie skopiować tę amortyzację, skopiować rzeczy, które wbudowałeś. W przyszłości, gdy te rzeczy staną się bardziej inteligentne, a sposób ich trenowania stanie się bardziej ekonomicznie racjonalny – co będzie miało sens amortyzować do tych umysłów, czego ewolucja nie myślała, że było warte amortyzowania do biologicznych umysłów?

Odpowiedź Marblestone’a: może niepotrzebna amortyzacja

Marblestone odpowiada, że po pierwsze ludzie z probabilistic AI powiedzieliby: oczywiście potrzebujesz test-time compute, bo ten problem inferencji jest naprawdę trudny. Jedyne sposoby, jakie znamy, wymagają dużo test-time compute, w przeciwnym razie to tylko kiepskie przybliżenie.

Niektórzy ludzie z probabilistic byliby jak: nie, to inherentnie probabilistyczne i amortyzowanie tego w ten sposób po prostu nie ma sensu. Mogą też wskazać na mózg i powiedzieć: OK, mózg, neurony są stochastyczne, sampelują, robią rzeczy, więc może mózg faktycznie robi bardziej non-amortized inference, prawdziwą inferencję.

Jest też dziwne, jak percepcja może działać w zaledwie milisekundach. Nie wygląda, żeby używała aż tak dużo sampelowania, więc też wyraźnie robi pewne wbudowywanie rzeczy w przybliżone forward passes.

Może ewolucja zrobiła lub nie zrobiła tego. Marblestone myśli, że ewolucja wciąż musi przepuścić wszystko przez genom, żeby zbudować sieć. Środowisko, w którym ludzie żyją, jest bardzo dynamiczne. Więc może, jeśli wierzymy, że jest Learning Subsystem według Byrnesa i Steering Subsystem, to Learning Subsystem nie ma dużo pre-inicjalizacji lub pretrainingu. Ma pewną architekturę, jednak potem w czasie życia się uczy.

Wtedy ewolucja faktycznie nie zamortyzowała aż tyle do tej sieci. Zamortyzowała to zamiast do zestawu wrodzonych zachowań, zestawu tych uruchamiających funkcji kosztów, sposobów budowania bardzo konkretnych sygnałów nagród.

5. Genom jako reward function: zaledwie 3 GB informacji

Patel zauważa, że ta koncepcja pomaga wyjaśnić tajemnicę, o której ludzie mówiali. Jeśli chcesz analogizować ewolucję do pretrainingu, jak wyjaśnić, że tak mało informacji jest przekazywane przez genom? 3 gigabajty to rozmiar całego ludzkiego genomu, przy czym oczywiście mały ułamek jest rzeczywiście istotny dla kodowania mózgu.

Paradoks genomu

Marblestone przedstawia to, co można nazwać paradoksem genomu. Ludzkie DNA zawiera około 3 gigabajtów danych – to ilość wyraźnie niewystarczająca do zapisania wszystkich wag synaptycznych gotowego, dorosłego mózgu. Jak zatem możliwe jest zakodowanie inteligencji w tak małej przestrzeni?

Hiperparametry vs funkcje nagród

Wcześniej ludzie robili analogię, że ewolucja znalazła hiperparametry modelu – liczby mówiące, ile powinno być warstw, architekturę, jak rzeczy powinny być połączone.

Jeśli jednak duża część historii polega na tym, że zwiększona wydajność próbkowania pomaga uczeniu się, ogólnie sprawia, że systemy działają lepiej – i jeśli ewolucja znalazła te funkcje strat, które pomagają uczeniu – wtedy rzeczywiście ma sens, jak można zbudować inteligencję z tak małą ilością informacji.

Funkcja nagrody w Pythonie to dosłownie linia kodu. Więc masz tysiąc linii takich, to nie zajmuje tyle miejsca.

Eksploatacja generalizacji

Marblestone dodaje, że ewolucja wykorzystuje też mechanizm generalizacji opisany przy przykładzie pająka. Uczy się tylko słowa pająk, które wyzwala odruch pająka. Buduje funkcję nagrody, która ma w sobie sporo generalizacji, po prostu specyfikując wrodzone rzeczy związane z pająkami i Thought Assessors, które uczą się.

To potencjalnie bardzo kompaktowe rozwiązanie budowania bardziej złożonych funkcji nagród. Nie musisz przewidywać wszystkiego o przyszłości funkcji nagrody. Musisz tylko przewidzieć, które zmienne są istotne i jakie są heurystyki ich znajdowania. Potem musisz mieć bardzo kompaktową specyfikację algorytmu uczenia i podstawowej architektury Learning Subsystem. I musisz specyfikować cały ten kod Python o pająkach, przyjaciołach, matce, kojarzeniu się, grupach społecznych, wspólnym kontakcie wzrokowym.

Dowody z single-cell atlases

Czy to naprawdę prawda? Marblestone uważa, że są pewne dowody. Fei Chen, Evan Macosko i inni badacze robili single-cell atlases dzięki skalowaniu technologii neuroscience przez BRAIN Initiative.

Jest znacznie więcej dziwnych, różnorodnych i wyspecjalizowanych typów komórek w Steering Subsystem niż w Learning Subsystem. Korowe typy komórek – wygląda, że jest wystarczająco dużo, żeby zbudować algorytm uczenia i specyfikować hiperparametry. W Steering Subsystem jest mnóstwo, tysiące naprawdę dziwnych komórek – mogą być jak ta dla odruchu drgnięcia na pająka i ta dla zaraz-poczuję-sól.

Dlaczego każda funkcja nagrody potrzebuje innego typu komórki?

Patel pyta, dlaczego każda funkcja nagrody potrzebowałaby innego typu komórki. Marblestone wyjaśnia, że tu dostajesz wrodnie połączone obwody.

W części algorytmu uczenia, w Learning Subsystem, specyfikujesz początkową architekturę i algorytm uczenia. Cały sok dzieje się przez plastyczność synaps, zmiany synaps w tej dużej sieci. To względnie powtarzająca się architektura w inicjalizacji – jak ilość kodu Python potrzebna do zrobienia ośmiowarstwowego transformera nie różni się tak bardzo od trzywarstwowego.

Natomiast cały ten kod Python dla funkcji nagrody – jeśli wzgórki czworaczne górne widzą coś biegającego i czujesz gęsią skórkę na skórze, wtedy wyzwól odruch pająka – to po prostu kupa wyspecjalizowanych, gatunkowo-specyficznych, sytuacyjnie-specyficznych rozwiązań. Kora nie wie o pająkach, wie tylko o warstwach.

Szybka ewolucja mózgu hominidów

Patel zauważa, że to pomaga wyjaśnić, dlaczego mózg hominidów eksplodował w rozmiarze tak szybko. Zakładam, że pod tą historią social learning lub coś innego zwiększyło zdolność uczenia się ze środowiska, zwiększyło naszą wydajność próbkowania.

Zamiast musieć iść i zabić dzika samemu i dowiedzieć się, jak to zrobić, możesz po prostu być jak: starszy powiedział mi, tak robisz włócznię. Teraz zwiększa to zachętę do posiadania większej kory, która może nauczyć się tych rzeczy.

Marblestone zgadza się – tak, i to może być zrobione stosunkowo niewielką liczbą genów, bo naprawdę replikuje to, co mysz już ma, robi tego więcej. Może nie jest dokładnie to samo i mogą być modyfikacje, jednak z perspektywy genomu nie musisz wynajdywać tego wszystkiego na nowo.

Jak daleko wstecz sięga kora?

Patel pyta – jak daleko w historii ewolucji mózgu sięga kora? Czy idea jest taka, że kora zawsze miała tę omnidirectional inference, to był rozwiązany problem od dawna? Wtedy duży unlock z naczelnymi był taki, że dostaliśmy funkcję nagrody, która zwiększyła zwroty z posiadania omnidirectional inference?

Marblestone mówi, że to dobre pytanie i nie jest pewien, czy jest zgoda co do tego. Mogą być konkretne pytania o język – czy są modyfikacje, czy to przez słuchowe i pamięć, jakąś kombinację regionów słuchowych pamięci? Może być też macro-wiring, gdzie musisz połączyć regiony słuchowe z regionami pamięci.

Jest pewien dowód dla ośrodka Broki, ośrodka Wernickego – są połączone z hipokampem i prefrontalną korą. Więc jest jak mała liczba genów może do umożliwienia ludziom robienia języka porządnie.

Czy to coś się zmieniło w korze i możliwe stało się robienie tych rzeczy? Czy to, że ten potencjał już tam był, ale nie było zachęty do rozszerzenia tej zdolności, a potem jej użycia, połączenia jej z tymi społecznymi instynktami i używania więcej? Marblestone skłania się ku temu drugiemu – myśli, że mysz ma dużo podobieństwa pod względem kory do człowieka.

Kontakt wzrokowy i social learning

Marblestone zauważa coś fascynującego. Jest cała ta sprawa, która pojawiała się w showach Patela wcześniej. Nawet design ludzkiego oka, gdzie masz źrenicę i białko i wszystko – jesteśmy zaprojektowani, żeby móc nawiązywać relacje oparte na wspólnym kontakcie wzrokowym.

Może to wyszło w odcinku z Suttonem. Musimy uruchomić proces do punktu, gdzie możemy wykrywać kontakt wzrokowy i gdzie możemy komunikować się językiem. To jak pierwsze kilka lat życia próbuje to zrobić.

6. Model-free vs model-based RL w mózgu

Patel pyta o reinforcement learning. Obecnie LLM-y są trenowane tak, że jeśli rozwiążą test jednostkowy lub problem matematyczny, cała trajektoria, każdy token w tej trajektorii, jest wzmacniany. Co dzieje się u ludzi? Są różne typy model-based versus model-free w różnych częściach mózgu?

Marblestone przyznaje, że w zasadzie nie wie – chce zmapować cały mózg myszy i sprawdzić to kompleksowo, jednak ma pewne hipotezy.

Naiwny RL w węzłach podstawy

Po pierwsze, z Ilyą na podcastie – było to dziwne, że nie używają funkcji wartości. Używają najgłupszej formy RL, choć oczywiście ci ludzie są niesamowicie inteligentni i optymalizują to pod GPU. Koncepcyjnie to naprawdę głupia forma RL, nawet w porównaniu z tym, co robiono 10 lat temu.

Nawet gry Atari używały Q-learning, czyli rodzaju temporal difference learning. Temporal difference learning oznacza, że masz jakąś funkcję wartości. Akcja, którą wybieram teraz, nie mówi mi tylko, co dzieje się zaraz po tym, ale mówi mi, jaka jest długoterminowa konsekwencja dla mojej oczekiwanej całkowitej nagrody.

Fakt, że w ogóle nie mamy funkcji wartości w LLM-ach, jest szalony. Marblestone uważa, że skoro Ilya to powiedział, on może to powiedzieć – wie jedną setną tego, co Ilya wie o AI.

W mózgu pewne części prawdopodobnie robią coś bardzo podobnego do model-free RL – części prążkowia i zwojów podstawy. Myśli się, że mają pewną skończoną, względnie małą przestrzeń akcji. Mogą być akcje motoryczne, ale mogą być bardziej skomplikowane akcje poznawcze.

Temporal difference learning i dopamina

Nakładając jedną rzecz na to – duża praca w neuroscience, jak praca Petera Dayana. Część powodu, dla którego DeepMind w ogóle zrobił temporal difference learning – byli bardzo zainteresowani neuroscience.

Jest dużo dowodów z neuroscience, że dopamina daje sygnał błędu predykcji nagrody, a nie tylko nagroda tak lub nie, gazilon kroków czasowych w przyszłości. To błąd predykcji, co jest spójne z uczeniem tych funkcji wartości.

Model-based RL w korze

Potem jest pewnie rzecz wyższego rzędu. Kora robi ten model świata. Jedną z rzeczy, które może zawierać model świata kory, jest model tego, kiedy dostajesz i nie dostajesz nagród. Przewiduje, co zrobi Steering Subsystem, co mogą zrobić węzły podstawy.

Masz w korze model, który ma więcej generalizacji, więcej konceptów, który mówi: OK, te typy planów, te typy akcji doprowadzą w tych typach okoliczności do nagrody. Więc mam model mojej nagrody.

Niektórzy myślą też, że możesz iść w drugą stronę – idea RL as inference. Możesz powiedzieć: warunkując na tym, że mam wysoką nagrodę, wylosuj plan, który musiałbym mieć, żeby się tam dostać. To inferencja części planu z części nagrody – zaciśnij nagrodę jako wysoką i wnioskuj plan, próbkuj z planów, które mogłyby do tego doprowadzić.

Ewolucja i kultura jako model-free RL

Patel zauważa coś fascynującego. Joe Henrich i inni mają tę ideę o tym, jak społeczeństwa ludzkie nauczyły się robić rzeczy – jak dowiedzieć się, że ten rodzaj fasoli, która faktycznie prawie zawsze cię truje, jest jadalna, jeśli zrobisz ten dziesięcioetapowy niesamowicie skomplikowany proces?

Jak dowiedzieć się, jak polować na tę fokę w ten konkretny sposób, z tą konkretną bronią, o tej konkretnej porze roku? Nie ma sposobu poza po prostu próbowaniem przez pokolenia. Uderza go, że to faktycznie bardzo przypomina model-free RL dziające się na poziomie cywilizacyjnym.

Marblestone odpowiada – ewolucja jest najprostszym algorytmem w pewnym sensie. Jeśli wierzymy, że wszystko to może pochodzić z ewolucji, zewnętrzna pętla może być ekstremalnie nie-przewidująca. Co to ci mówi? Może proste algorytmy mogą po prostu dać ci wszystko, jeśli robisz to wystarczająco.

Patel śmieje się – tak, hierarchie… Ewolucja: model-free. Węzły podstawy: model-free. Kora: model-based. Kultura: potencjalnie model-free.

7. Biologiczny vs cyfrowy hardware

Patel pyta, czy biologiczny hardware to wada czy zaleta. Gdyby algorytm był wpisany w dzisiejszy sprzęt komputerowy, działałby dużo gorzej czy lepiej?

Marblestone myśli, że ostatecznie dostaniemy to, co najlepsze z obu światów. Oczywista wada mózgu jest taka, że nie może być kopiowany. Nie masz zewnętrznego dostępu do zapisu-odczytu do każdego neuronu i synapsy, podczas gdy w Pythonie możesz edytować coś w macierzy wag i załadować to. Fakt, że nie może być kopiowany i dostępny losowo, jest bardzo denerwujący.

Poza tym jednak może ma wiele zalet. Mówi ci też, że chcesz jakoś zrobić współprojektowanie algorytmu. Jak to zrobić z naprawdę wolnymi, niskonapięciowymi przełącznikami? To będzie naprawdę ważne dla zużycia energii. Co-lokacja pamięci i obliczeń – firmy hardware’owe prawdopodobnie po prostu spróbują kolokować pamięć i obliczenia.

Stochastyczność jako feature, nie bug

Są ludzie, którzy myślą, że cała ta probabilistyczna rzecz – że to rzeczywiście energy-based models – robi dużo próbkowania, nie tylko amortyzuje wszystko. Neurony są bardzo naturalne dla tego, bo są naturalnie stochastyczne. Nie musisz robić generatora liczb losowych w kupie kodu Python, żeby wygenerować próbkę. Neuron po prostu generuje próbki i może dostroić różne prawdopodobieństwa i nauczyć się tych dostrojeń.

Ironiczna obserwacja o Twitter critics

Patel robi ironiczną uwagę. Byłoby zabawne… Przekaz, który zabieram z tego wywiadu, jest taki, że wszyscy ci ludzie, z których ludzie się śmieją na Twitterze – Yann LeCun, Beff Jezos – nie wiem, może mieli rację.

Marblestone odpowiada, że to faktycznie jedno odczytanie tego. Oczywiście naprawdę nie pracował nad AI od czasu, gdy LLM-y wystartowały, więc jest poza pętlą, jednak jest zaskoczony i myśli, że jest niesamowite, jak skalowanie działa. Ale tak, myśli, że Yann LeCun i Beff Jezos są trochę na tropie czegoś z probabilistic models, lub przynajmniej możliwie. To faktycznie to, co wszyscy neuroscientyści i wszyscy ludzie AI myśleli do 2021 lub czegoś takiego.

Implementacja vs funkcjonalność

Patel pyta o rzeczy komórkowe w mózgu, które nie są tylko o połączeniach synaptycznych neuron-neuron. Ile z tego robi funkcjonalnie więcej pracy niż same synapsy vs ile to po prostu tymczasowe rozwiązanie, które musisz robić, żeby sprawić, by synaptyczna rzecz działała?

Marblestone nie jest zwolennikiem radykalnego pamięć to nie są głównie synapsy, lub uczenie to głównie zmiany genetyczne. Myśli, że ma sens druga rzecz, którą Patel powiedział. Powiedzmy, że chcesz zrobić weight normalization przez wszystkie wagi wychodzące z neuronu lub wchodzące do niego – prawdopodobnie musisz jakoś powiedzieć jądru komórki o tym, a potem je wysłać z powrotem do synaps.

Algorytmicznie nie dodaje to czegoś poza tymi algorytmami. Po prostu implementuje coś, co w komputerze cyfrowym jest bardzo łatwe – znajdź wagi i je zmień. W komórce musi to zrobić z maszynami molekularnymi bez centralnego kontrolera. To niesamowite.

Są pewne rzeczy, które komórki robią, które wydają się bardziej przekonujące. Jedna z rzeczy, które móżdżek musi zrobić, to przewidywać w czasie – jaki jest time delay? Powiedzmy, że widzę błysk, a potem po jakiejś liczbie milisekund dostanę podmuch powietrza w powiekę. Móżdżek może być bardzo dobry w przewidywaniu, jaki jest timing między błyskiem a podmuchem powietrza.

Są pewne komórki w móżdżku, gdzie wygląda na to, że ciało komórki odgrywa rolę w przechowywaniu tej time constant, zmienianiu tej time constant opóźnienia. Zamiast robić to z zrobię dłuższy ring synaps, żeby opóźnienie było dłuższe – nie, ciało komórki po prostu przechowa to time delay.

Więc są pewne przykłady, jednak Marblestone nie jest zwolennikiem teorii, że to, co się dzieje, to zmiany w połączeniach między neuronami i że to jest główna algorytmiczna rzecz.

8. Jak mózg reprezentuje model świata?

Patel pyta – jak mózg reprezentuje model świata? Oczywiście wychodzi w neuronach, ale nie mam na myśli ekstremalnie funkcjonalnie. Mam na myśli koncepcyjnie – czy jest to w czymś analogicznym do hidden state sieci neuronowej, czy jest to coś bliższego języka symbolicznego?

Cognitive maps i face patches

Marblestone odpowiada – nie wiemy. Jest pewna ilość badań tego. Są te rzeczy jak face patch neurons, które reprezentują pewne części twarzy, które geometrycznie łączą się w interesujące sposoby. To z geometrią i wzrokiem.

Czy to prawda dla innych bardziej abstrakcyjnych rzeczy? Jest idea cognitive maps. Dużo z tego, czego musi nauczyć się hipokamp gryzonia, to komórki miejsca i gdzie gryzoń idzie dalej i czy dostanie tam nagrodę? To bardzo geometryczne.

Czy organizujemy koncepty z abstrakcyjną wersją mapy przestrzennej? To pytanie.

Variable binding problem

Są pytania o to, czy możemy robić prawdziwe operacje symboliczne. Czy mogę mieć rejestr w moim mózgu, który kopiuje zmienną do innego rejestru niezależnie od tego, jaka jest zawartość tej zmiennej? To variable binding problem.

Zasadniczo – nie wiem, czy mamy tę maszynerię, czy to bardziej jak cost functions i architektury, które sprawiają, że coś z tego w przybliżeniu wyłania się, ale może też by się wyłoniło w sieci neuronowej?

Marblestone mówi – moja hipoteza jest taka, że to będzie ogromny bałagan i powinniśmy patrzeć na architekturę, funkcje strat i reguły uczenia. Nie oczekuję, że będzie tam ładnie.

Patel pyta – czyli to nie jest rzecz typu język symboliczny? Marblestone – tak, prawdopodobnie to nie jest takie symboliczne, jednak inni ludzie myślą bardzo inaczej.

9. Continual learning i hipokamp

Patel pyta o continual learning. Czy to produkt czegoś ekstremalnie fundamentalnego na poziomie nawet algorytmu uczenia? Możesz powiedzieć: spójrz, przynajmniej sposób, w jaki robimy backprop w sieciach neuronowych, jest taki, że zamrażasz wagę, jest okres treningowy i zamrażasz wagi.

Czy myślisz, że to bardziej kwestia architektury i jak pamięć jest dokładnie przechowywana, jaki rodzaj pamięci asocjacyjnej masz?

System konsolidacji: hipokamp → kora

Marblestone – nie wiem. Na poziomie architektonicznym prawdopodobnie jest pewna interesująca rzecz, którą robi hipokamp. Ludzie od dawna to myśleli. Jakie rodzaje sekwencji przechowuje? Jak organizuje, reprezentuje to? Jak odtwarza to z powrotem?

Czy trenuje korę używając odtworzeń lub wspomnień z hipokampa? Prawdopodobnie jest trochę tego.

Multiple timescales plastyczności

Może być wiele skal czasowych plastyczności lub sprytne reguły uczenia, które mogą jednocześnie przechowywać krótkoterminową informację i też robić z nią backprop. Neurony mogą robić kilka rzeczy – pewna fast weight plasticity i pewna wolniejsza plastyczność w tym samym czasie, lub synapsy, które mają wiele stanów.

Nie wiem. Z perspektywy neuroscience nie jestem pewien, czy widziałem coś, co jest super jasne o tym, co powoduje continual learning, poza może powiedzeniem, że ta idea systems consolidation – hipokamp konsolidujący korę.

Niektórzy ludzie myślą, że to duży kawałek tego i wciąż nie rozumiemy w pełni szczegółów.

10. Behavior cloning: brain-data-augmented AI

Patel przypomina Marblestone’owi pomysł, który Marblestone miał w wykładzie pięć lat temu. Marblestone śmieje się – faktycznie śmieszne, bo pierwszy raz, gdy widział tę ideę, myśli, że mogła być w blog poście Gwerna. Zawsze jest blog post Gwerna.

Są teraz akademickie wysiłki badawcze i pewna ilość emerging wysiłków typu firma, żeby próbować to zrobić.

Idea: używanie brain signals jako auxiliary loss

Normalnie, powiedzmy, że trenuję klasyfikator obrazów. Pokazuję mu zdjęcia kotów i psów i mają etykietę kot lub pies. I mam sieć neuronową, która ma przewidzieć etykietę. To ograniczona ilość informacji na etykietę, którą wkładasz – to tylko kot lub pies.

Co jeśli też miałem: przewidź, jaki jest mój wzorzec aktywności neuronalnej, gdy widzę kota lub gdy widzę psa i wszystkie inne rzeczy?

Jeśli dodasz to jako auxiliary loss function lub auxiliary prediction task, czy to rzeźbi sieć, żeby wiedzieć informację, którą ludzie wiedzą o kotach i psach i reprezentować to w sposób spójny z tym, jak mózg to reprezentuje? Rodzaj wymiarów reprezentacyjnych lub geometrii tego, jak mózg reprezentuje rzeczy? Czy to pozwala lepiej generalizować?

Wyzwanie technologiczne

Oczywiście to brzmi naprawdę challengingly. Bardzo łatwo wygenerować dużo labelowanych zdjęć kotów – Scale AI może to zrobić. Trudniej wygenerować dużo wzorców aktywności mózgowej, które odpowiadają rzeczom, do których chcesz trenować AI.

Znowu jednak to tylko technologiczne ograniczenie neuroscience. Gdyby każdy iPhone był też brain scannerem, nie miałbyś tego problemu i trenowalibyśmy AI z sygnałami mózgowymi.

To tylko kolejność, w której technologia się rozwinęła – dostaliśmy GPU przed tym, jak dostaliśmy portable brain scanners.

Różnica od distillation

Patel pyta – jaki jest analog ML tego, co byś tu robił? Bo gdy destylujesz modele, wciąż patrzysz na ostatnią warstwę log probs przez wszystkie…

Marblestone – jeśli destylujesz jeden model do drugiego, to pewna rzecz. Po prostu próbujesz skopiować jeden model do innego. Myśli, że nie mamy naprawdę perfekcyjnej propozycji destylowania mózgu.

Żeby destylować mózg, potrzebujesz o wiele bardziej złożonego brain interface. Może też mogłeś to zrobić – mogłeś robić surrogate models. Andreas Tolias i ludzie tacy robią pewną ilość neural network surrogate models brain activity data.

To robi coś trochę innego. To zasadniczo mówi, że dodaję auxiliary… Myślę o tym jako regularization lub myślę o tym jako dodawanie auxiliary loss function, która wygładza zadanie predykcji, żeby też zawsze było spójne z tym, jak mózg to reprezentuje.

Może pomóc z rzeczami jak adversarial examples.

Gwern i brain-computer interface continuum

Marblestone wyjaśnia – Gwern miał ten dawny blog post o to jest rzecz pośrednia. Mówimy o whole brain emulation, mówimy o AGI, mówimy o brain-computer interface. Powinniśmy też mówić o tej brain-data-augmented rzeczy, która jest trenowana na całym twoim zachowaniu, ale też jest trenowana na przewidywaniu niektórych z twoich wzorców neuronalnych.

Mózg już to robi

Patel pyta – czy mówisz, że Learning System już to robi przez Steering System?

Marblestone – tak, i nasz mózg, nasz learning system też musi przewidywać Steering Subsystem jako auxiliary task. To pomaga Steering Subsystem. Teraz Steering Subsystem może dostać dostęp do tego predyktora i zbudować fajną funkcję nagrody używając go.

11. Connectomics: mapowanie mózgu za miliardy dolarów

Marblestone wyjaśnia swoją wizję kompleksowego mapowania mózgu. Connectomics to mapowanie wszystkich połączeń neuronalnych w mózgu.

Dlaczego potrzebujemy connectome?

Patel pyta fundamentalne pytanie. Jeśli mielibyśmy idealną reprezentację mózgu, dlaczego myśleć, że pozwoliłaby nam to odpowiedzieć na te pytania? Mamy sieci neuronowe o wiele bardziej interpretowalne, jednak nawet wtedy nie czujemy, że mamy wyjaśnienie, dlaczego LLM-y są inteligentne.

Marblestone trochę to kwestionuje. Mamy pewien opis tego, co LLM fundamentalnie robi – mam architekturę, regułę uczenia, hiperparametry, inicjalizację, dane treningowe. Analogiczna rzecz do connectome to zobaczenie wag.

Chcę opisać mózg w języku architektur, reguł uczenia, inicjalizacji. Nie muszę rozumieć, jak oblicza Golden Gate Bridge. Konrad Kording i Tim Lillicrap mają artykuł What does it mean to understand a neural network? Mówią zasadniczo, że możesz wytrenować sieć neuronową do obliczania cyfr pi – to jakiś szalony wzorzec.

Nigdy nie będziemy w stanie tego w pełni uchwycić interpretowalności. Po prostu robi naprawdę skomplikowane obliczenia wewnętrznie, jednak wciąż możemy powiedzieć, że sposób, w jaki to się stało, to że miało architekturę i daliśmy mu te dane treningowe i miało tę funkcję strat.

Dwa podejścia: bottom-up vs reverse engineering

Są dwa różne podejścia. Na totalnie bottom-up, musimy-wszystko-symulować portfolio musisz zrobić symulację mózgu ryby zebra, a potem zobaczyć, jakie są emergentne dynamiki. To najbardziej ekstremalny bottom-up widok neuroscience, jednak nawet tam connectome jest naprawdę ważny do zrobienia tej biofizycznej, bottom-up symulacji.

Z drugiej strony możesz powiedzieć: co jeśli możemy rzeczywiście zastosować pomysły z AI? Zasadniczo musimy dowiedzieć się, czy to energy-based model, czy amortized VAE-type model. Czy robi backprop, czy coś innego.

Jeśli mamy pewien repertuar możliwych pomysłów, pomyśl o connectome jako ogromnej liczbie dodatkowych ograniczeń, które pomogą doprecyzować, żeby ostatecznie mieć spójny obraz tego.

Podstawowe pytania bez odpowiedzi

Marblestone myśli o tym też dla rzeczy Steering Subsystem. Po prostu bardzo podstawowe rzeczy. Ile jest różnych typów sygnału dopaminy lub sygnału Steering Subsystem, thought assessor? Nawet ta bardzo podstawowa informacja, że jest więcej typów komórek w podwzgórzu niż w korze, to nowa informacja.

Ile różnych neuronów dopaminowych jest? Czy połączenie między prefrontalnym a słuchowym jest takie samo jak między prefrontalnym a wzrokowym? Najbardziej podstawowe rzeczy – nie wiemy.

Problem polega na tym, że uczenie nawet najbardziej podstawowych rzeczy serią dedykowanych eksperymentów zajmuje niesamowicie długo. Nauczenie się tego wszystkiego na raz przez dostanie connectome jest po prostu o wiele bardziej wydajne.

Timeline i koszty

Patel pyta o timeline. Zakładając, że pomysł jest najpierw poinformować rozwój AI, Marblestone przyznaje, że jeśli jesteś w scenariuszu AI 2027, nie jest to super praktyczne i istotne. Nauka, którą robi teraz, nie wpłynie na naukę za 10 lat, bo na naukę za 10 lat wpłynie wynik tego scenariusza AI 2027.

Jest jednak dużo powodów, żeby myśleć, że może dostaniemy dużo z tego paradygmatu. Wtedy prawdziwa rzecz – pojedyncze wydarzenie transformacyjne dla całej przyszłości – jest wciąż ponad pięć lat stąd. Marblestone myśli, że jego timeline mogą być w zakresie około 10 lat.

Jeśli tak jest, prawdopodobnie jest różnica między światem, w którym mamy connectomes na dyskach twardych i rozumiemy architekturę Steering Subsystem. Porównaliśmy nawet najbardziej podstawowe właściwości – jakie są funkcje nagród, funkcja kosztów, architektura myszy vs ryjówki vs małego prymata.

To musi być naprawdę duże pchnięcie. Skalowanie niskich miliardów dolarów w bardzo skoordynowany sposób.

E11 Bio i optical connectomics

Jeśli Marblestone mówi tylko o konkretnych rzeczach z connectomics – E11 Bio to ich główna rzecz. Próbują zrobić technologię mapowania connectomics mózgu kilka rzędów wielkości tańszą.

Wellcome Trust wydał raport rok lub dwa temu mówiący, że dostanie jednego mózgu myszy, pierwszego connectome mózgu myszy, byłoby projektem za kilka miliardów dolarów. Z kolei technologia E11 i zestaw wysiłków w polu próbuje dostać jeden connectome myszy do niskich dziesiątek milionów dolarów.

To mózg ssaka. Ludzki mózg jest około 1000 razy większy. Jeśli z mózgiem myszy możesz dojść do 10, 20, 30 milionów dolarów z technologią, jeśli naiwnie skalujesz to, ludzki mózg to wciąż miliardy dolarów.

Czy możesz iść dalej? Dostać ludzki mózg poniżej miliarda? Marblestone nie jest pewien, czy potrzebujesz każdego neuronu w ludzkim mózgu. Chcemy zrobić cały mózg myszy i ludzki Steering Subsystem oraz całe mózgi kilku różnych ssaków z różnymi instynktami społecznymi.

Z dużym pchnięciem technologicznym i skoordynowanym wysiłkiem, realny znaczący postęp można zrobić w skali setek milionów do niskich miliardów.

Human Genome Project – lekcje dla connectomics

Patel pyta – jakie są lekcje z Human Genome Project? Jeden sposób, jak możesz na to patrzeć, jest taki, że to był błąd i nie powinieneś był wydawać miliardów dolarów mapując jeden genom. Raczej powinieneś był po prostu zainwestować w technologie, które teraz pozwoliły nam mapować genomy za setki dolarów.

Marblestone odpowiada – George Church był moim doradcą PhD i wskazał, że było to 3 miliardy dolarów, mniej więcej 1 dolar za parę zasad dla pierwszego genomu. Potem National Human Genome Research Institute zasadniczo ustrukturyzowało proces finansowania poprawnie – dostali kilka firm konkurujących, żeby obniżyć koszt.

A potem koszt spadł jak million-fold w 10 lat, bo zmienili paradygmat z makroskopowych technik chemicznych na te indywidualne molekuły DNA, które robiłyby mały klaster molekuł DNA na mikroskopie. Widziałbyś tylko kilka molekuł DNA na raz na każdym pikselu kamery – dawałoby ci inny, równolegle, look na różne fragmenty DNA. Więc zrównoleglasz rzecz millions-fold, co zredukowało koszt millions-fold.

Z przejściem z electron microscopy na optical connectomics, potencjalnie nawet przyszłe typy technologii connectomics, myślimy, że powinny być podobne wzorce. Dlatego E11, Focused Research Organization, zaczęła z rozwoju technologii zamiast zaczynać od powiedzenia, że zrobimy ludzki mózg.

To wciąż jednak duża rzecz. Nawet z nową technologią następnej generacji wciąż musisz wydać setki milionów na zbieranie danych.

12. Lean i automatyzacja matematyki

Marblestone jest w zarządzie Lean, formalnego języka matematycznego, który matematycy używają do dowodzenia twierdzeń.

Formalna weryfikacja jako perfect RLVR task

Lean to język programowania, gdzie zamiast wyrażać dowód matematyczny na papierze, wyrażasz go w tym języku. Na końcu, jeśli to zrobisz, to język weryfikowalny, więc możesz kliknąć verify i Lean powie ci, czy wnioski twojego dowodu rzeczywiście wynikają perfekcyjnie z twoich założeń. Sprawdza, czy dowód jest poprawny automatycznie.

Samo w sobie to użyteczne dla matematyków współpracujących. Jeśli jestem jakimś matematykiem amatorem i chcę dodać do dowodu, Terry Tao nie uwierzy po prostu mojemu wynikowi, jednak jeśli Lean mówi, że jest poprawny, to jest po prostu poprawny.

Ułatwia to współpracę, ale też ułatwia poprawnością dowodów być sygnałem RL w RLVR (reinforcement learning z weryfikacją wyników). Formalized math proving jest teraz mechanicznie weryfikowalne, dlatego staje się perfekcyjnym zadaniem RLVR.

Marblestone myśli, że będzie to po prostu działać. Wydaje się, że jest przynajmniej jedna firma wyceniona na miliard dolarów, Harmonic, oparta na tym. AlphaProof jest oparty na tym. Kilka innych emergentnych naprawdę interesujących firm. Problem RLVRowania dowodzenia matematycznego będzie działać.

Czy to rozwiązuje matematykę?

Wciąż jest część, która ma związek z wysuwaniem nowych interesujących pomysłów – conjecturing. Wciąż jest koncepcyjna organizacja matematyki – co jest interesujące. Jak wymyślasz nowe stwierdzenia twierdzeń na samym początku?

Marblestone myśli, że to przesunie ciężar tego, żeby ludzie nie musieli robić wielu mechanicznych części matematyki. Walidowanie lematów i dowodów, sprawdzanie, czy stwierdzenie tego w tym artykule jest dokładnie tym samym co w tamtym – to po prostu zadziała.

Jeśli naprawdę myślisz, że dostaniemy prawdziwe AGI, też byłoby w stanie robić przypuszczenia. Bengio ma artykuł, bardziej teoretyczny – czy jest funkcja strat dla dobrych wyjaśnień lub dobrych przypuszczeń? To dość głębokie pytanie.

Naprawdę interesujący dowód matematyczny lub stwierdzenie może być tym, które kompresuje dużo informacji i ma dużo implikacji dla wielu innych twierdzeń. W przeciwnym razie musiałbyś udowadniać te twierdzenia używając długiej złożonej pasywnej inferencji. To jak potężne wyjaśnienie wyjaśniające resztę matematyki.

Zastosowania praktyczne: provably secure software

Marblestone myśli, że będzie to miało wiele naprawdę fajnych zastosowań praktycznych. Jedna z rzeczy, którą chcesz zrobić, to mieć udowodnione stabilne, bezpieczne, nie do zhackowania oprogramowanie. Możesz pisać dowody matematyczne o oprogramowaniu i powiedzieć: ten kod nie tylko przechodzi te testy jednostkowe, ale mogę matematycznie udowodnić, że nie ma sposobu, żeby go zhackować w te sposoby.

Będzie to naprawdę potężny element cyberbezpieczeństwa istotny dla wszystkich innych rzeczy związanych z AI hackującym świat. Jeśli możesz udowodnić hipotezę Riemanna, będziesz też w stanie udowadniać szalenie złożone rzeczy o bardzo złożonym oprogramowaniu.

Specification problem

Patel pyta, dlaczego provable programming language nie wziął rozpędu w rezultacie LLM-ów. Marblestone myśli, że zaczyna – oni faktycznie inkubują potencjalną Focused Research Organization na ten temat – to specification problem.

Matematycy wiedzą, jakie interesujące twierdzenia chcą sformalizować. Powiedzmy jednak, że masz kod związany z prowadzeniem sieci energetycznej i ma pewne właściwości bezpieczeństwa – jaki jest formalny spec tych właściwości? Inżynierowie sieci po prostu zrobili tę rzecz, ale niekoniecznie wiedzą, jak wydobyć formalny spec z tego.

Ludzie nie są przyzwyczajeni do wymyślania formalnych specs i nie ma wielu narzędzi do tego. Więc też masz ten UI plus AI problem – jakie security specs powinienem specyfikować?

Davidad i safeguarded AI

Marblestone wspomina – davidad, który jest tym program director w ARIA teraz w UK, ma ten cały design programu w stylu ARPA, safeguarded AI, który bardzo mocno wykorzystuje provable safety properties.

Czy możesz zastosować dowody do world model? Ten world model faktycznie nie jest specyfikowany tylko w aktywacjach neuronów, ale jest specyfikowany w równaniach. Mogą być bardzo złożone równania, jednak jeśli możesz po prostu dostać szalenie dobrze w auto-proving tych rzeczy z cleverness…

Czy możesz mieć explicitly interpretable world models w przeciwieństwie do neural net world models i wrócić zasadniczo do symbolic methods po prostu dlatego, że możesz mieć szaloną ilość zdolności do udowadniania rzeczy? To interesująca wizja.

Accessibility: outsider scientists

Patel pyta o accessibility. Brzmi trochę corny – więcej ludzi może robić matematykę, ale kogo to obchodzi? Marblestone jednak myśli, że jest dużo ludzi, którzy mogliby mieć interesujące pomysły.

Jak quantum theory of gravity. Tak, jeden z nas wymyśli quantum theory of gravity zamiast card-carrying physicist. W ten sam sposób, w jaki Steve Byrnes czyta literaturę neuroscience i nie był w labie neuroscience aż tak dużo, jednak jest w stanie syntezować przez literaturę neuroscience i być jak Learning Subsystem, Steering Subsystem – czy to wszystko ma sens? Jest outsider neuroscientist w pewnych sposobach.

Czy możesz mieć outsider string theorists, bo matematyka jest po prostu robiona dla nich przez komputer? I czy to prowadzi do więcej innowacji w string theory? Może tak.

Polecenia dla AI – wzmiankowane w dyskusji

Choć rozmowa dotyczy głównie teorii, Marblestone i Patel przytaczają konkretne instrukcje, które ilustrują przyszłe możliwości AI lub różnice w ich działaniu względem mózgu.

Polecenie / Instrukcja	Zastosowanie / Kontekst
„Synthesize me a software that I can prove is correct.”	Cyberbezpieczeństwo przyszłości. Marblestone przewiduje, że połączenie LLM z językami weryfikowalnymi (jak Lean) umożliwi generowanie kodu matematycznie odpornego na ataki.
„The quick brown fox [BLANK] [BLANK] the lazy dog.”	Testowanie architektury wnioskowania. Zadanie typu fill-in-the-middle ilustrujące różnicę między prostym przewidywaniem następnego tokena (LLM) a wnioskowaniem wielokierunkowym (mózg).
„Check if the statement of this in this paper is exactly the same as that paper.”	Automatyzacja nauki. Zadanie dla AI weryfikującej spójność literatury matematycznej, mające na celu odciążenie badaczy od mechanicznej pracy sprawdzania lematów.
„Predict the label 'cat’ AND predict the neural activity pattern.”	Trening hybrydowy (Behavior Cloning). Hipotetyczna instrukcja dla funkcji straty, mająca na celu zmuszenie AI do procesowania informacji w sposób zbliżony do ludzkiego mózgu.

CHECKLIST: Czy projekt neuroscience ma sens?

Marblestone i jego zespół stworzyli Gap Map – mapę fundamentalnych capabilities w nauce. Oto rama teoretyczna do oceny, czy dany projekt badawczy ma sens:

Kryteria projektu typu mini Hubble Space Telescope

Czy to fundamental capability gap? Nie da się tego zrobić serią dedykowanych eksperymentów w tradycyjnych labach. Wymaga zorganizowanego zespołu inżynieryjnego.
Czy odblokowuje innych badaczy? Podnosi łodzie dla całego pola badawczego. Nie jest jedynie odkryciem naukowym. Jest infrastrukturą umożliwiającą odkrycia.
Jaka jest skala finansowania? Kilkaset projektów Gap Map × Series A każdy = kilka miliardów total. Nie triliony, realistyczne do sfinansowania.
Technology first approach: Najpierw obniż koszt. Wzoruj się na Human Genome Project – 1 mln-fold drop w 10 lat. E11: z miliardów do dziesiątek milionów.
Portfolio approach: Nie tylko jeden gatunek. Cały mózg myszy + ludzki Steering Subsystem + różne ssaki. Porównawcze badania funkcji nagród.
Realistyczny timeline: Jeśli AGI w 2-3 lata – za późno. Jeśli AGI w około 10 lat – w sam raz. Dostosuj skalę projektu do prawdopodobnego timeline.

Czerwone flagi – projekty, których unikać

Moonshot bez ground truth: Uploadujemy mózg bez najpierw zmapowania myszy. Wielkie obietnice bez fundamentalnych capabilities. Pomija kroki pośrednie.
Tylko eksploracja bez infrastructure: Ciekawa hipoteza, ale nie buduje narzędzi dla innych. Tradycyjny grant wystarczy. Nie wymaga FRO/moonshot scale.
Spec problem niezaadresowany: Dla formal verification – brak narzędzi do tworzenia specs. Dla brain mapping – brak określenia, co dokładnie mapujemy. User interface + AI problem.

Kluczowy insight

Wydajność próbkowania > Ilość danych

Standardowo myślimy: Potrzebujesz coraz więcej danych treningowych, żeby zbudować lepsze AI. Więcej przykładów, większe datasety, więcej GPU – to klucz do inteligencji.

W praktyce okazuje się, że: Ewolucja zbudowała ludzką inteligencję używając zaledwie 3 GB genomu. Nie zakodowała trilionów przykładów tego, czego się uczyć. Zakodowała kompaktowe funkcje nagród i program nauczania – KIEDY i JAK się uczyć, nie CO. Marblestone pokazuje, że funkcja nagrody w Pythonie to dosłownie linia kodu. Tysiąc takich linii nie zajmuje dużo miejsca, jednak może kierować uczeniem się o wiele efektywniej niż petabajty surowych danych.

Dlaczego to jest istotne: Zamiast gromadzić coraz więcej danych treningowych, powinieneś skupić się na definiowaniu lepszych funkcji oceny i reward signals. To wyjaśnia też, dlaczego najprostsza forma RL w LLM-ach działa lepiej niż wyrafinowane metody – czasem prostsze, lepiej zdefiniowane sygnały nagród są potężniejsze niż skomplikowane architektury trenowane na ogromnych danych.

Test na jutro: Następnym razem gdy projektujesz system AI lub trenujesz model, zamiast gromadzić więcej przykładów treningowych, spróbuj zdefiniować 3-5 bardzo precyzyjnych funkcji oceny określających, co dokładnie system powinien optymalizować. Sprawdź czy to nie daje lepszych rezultatów przy mniejszej ilości danych.

Podsumowanie

Rozmowa Patela z Marblestone’em odsłania fascynującą perspektywę na pytanie o efektywność ludzkiego mózgu. Zamiast szukać odpowiedzi w architekturze neuronowej, Marblestone kieruje uwagę na wysoce wyspecjalizowane funkcje nagród wykształcone przez ewolucję.

Teoria Steve’a Byrnesa o Learning i Steering Subsystem oferuje mechanizm, jak ewolucja może kodować wysokopoziomowe cele bez znajomości przyszłości. Genom o rozmiarze zaledwie 3 GB wystarcza, bo ewolucja nie koduje całej wiedzy – koduje funkcje nagród i heurystyki ich wyzwalania. Ta koncepcja ma też kluczowe implikacje dla AI safety – minimum potrzebne do capabilities może być o wiele mniejsze niż minimum potrzebne do alignment.

Connectomics, choć kosztowny projekt za niskie miliardy dolarów, może być kluczem do zrozumienia tych mechanizmów. Według Marblestone’a mamy około 10 lat, zanim AGI stanie się rzeczywistością – wystarczająco dużo czasu, by wyciągnąć wnioski z neuroscience.

Równolegle projekty jak Lean pokazują, że automatyzacja może zrewolucjonizować nie tylko matematykę, ale też cyberbezpieczeństwo poprzez provably secure software. Idea behavior cloning – używania brain signals jako auxiliary loss – może być mostkiem między biologiczną a sztuczną inteligencją.

Polecane materiały

Książki wspomniane w rozmowie:

A Brief History of Intelligence (Max Bennett) – polecany przez Marblestone’a jako really good book czytany przez wielu badaczy AI

Zasoby naukowe:

Convergent Research (convergentresearch.org) – organizacja Marblestone’a zajmująca się FROs
Longitudinal Science – blog Marblestone’a na WordPressie
E11 Bio – projekt optical connectomics
Gap Map – mapa fundamentalnych capabilities w nauce

Teoria i artykuły:

Steve Byrnes’ theories o Learning i Steering Subsystem
Konrad Kording i Tim Lillicrap: What does it mean to understand a neural network?
Peter Dayan’s work on temporal difference learning
Doris Tsao’s work on vision systems
György Buzsáki: The Brain from the Inside Out
Gwern’s blog post on brain-data-augmented AI
Davidad’s ARIA program design on safeguarded AI

Badacze i ich prace:

Fei Chen, Evan Macosko – single-cell atlases
Andreas Tolias – neural network surrogate models
Joel Dapello – V1 model w convnets
Joe Henrich – cultural evolution i social learning
George Church – Human Genome Project i genomika

Ten wpis jest częścią mojej kolekcji notatek z ciekawych podcastów, webinarów i innych treści, które uważam za wartościowe i do których sam chcę wracać. Jeśli chcesz sprawdzić oryginalne źródło, znajdziesz je tutaj: Dwarkesh Podcast – Adam Marblestone

Tag: Formal Verification

Dlaczego mózg jest tak wydajny? Adam Marblestone o funkcjach nagród, connectomics i przyszłości AI #EN368