Een kijkje in de ‘black box’: machine learning voor Next-Level Animal Science

Deep learning door kunstmatige neurale netwerken (ANN’s) brengt momenteel grote veranderingen teweeg in onze samenleving, van zelfsturende auto’s tot computergegenereerde kunstwerken en zelfs complexe gesprekken. Hoewel ANN’s oorspronkelijk gebaseerd waren op het brein, hebben ze door technische applicaties een onafhankelijke ontwikkeling doorgemaakt en verschillen ze nu in zowel structureel als functioneel opzicht van hun biologische tegenhangers. Zo zijn biologische neurale netwerken over het algemeen veelzijdiger, en kunnen ze meer dan één taak tegelijk aan. Het doel van dit project is om meer kennis te vergaren over deze verschillen en de verhouding tussen structuur en functie te onderzoeken om meer mechanistisch begrip te creëren met betrekking tot hersenen en ANN’s, want voor beiden geldt dat dit tegenwoordig nog een ‘black box’ is.

Door numerieke experimenten uit te voeren met eenvoudige ANN’s wordt er in dit project onderzocht in hoeverre bepaalde eigenschappen van de hersenen in silico nagebootst kunnen worden en welke benodigdheden nog ontbreken. Alhoewel ANN’s slechts een ruwe benadering van de hersenen zijn, hebben ze enkele belangrijke functionele elementen gemeen – een objectieve functie, een netwerkarchitectuur en een leerregel. Met deze conceptuele aanpak met ANN’s als minimale hersenmodellen proberen de onderzoekers niet om biologische hersenen nauwkeurig na te bootsen, maar willen ze algemene, biologisch relevante principes over de biofysica met betrekking tot leren aan het licht brengen. Het project is momenteel gericht op drie aspecten: het leren van meerdere taken, neurogenese en de spaarzaamheid van verbindingen.

Over het algemeen worden ANN’s getraind om één enkele taak uit te voeren, waarbij het aanleren van extra taken leidt tot conflicten. Het aanleren van een nieuwe taak kan een oude taak overschrijven, hetgeen ook wel catastrophic forgetting wordt genoemd. Dit staat in sterk contrast met het feit dat zelfs de eenvoudigste dieren meerdere taken kunnen leren. De onderzoekers zijn erachter gekomen dat het herhaaldelijk wisselen tussen taken tijdens het leren een netwerk in staat stelt om meerdere taken te uit te voeren. Interessant genoeg leidt dit leren van meerdere taken tot een onderverdeling in het netwerk, waarbij verschillende subtaken in verschillende knooppunten opgeslagen worden.

Biologische breinen verwerken informatie en leren nieuwe taken terwijl hun neurale netwerken veranderen in zowel grootte als topologie. Wat betekent het toevoegen van nieuwe knooppunten voor de stabiliteit en leerefficiëntie van het netwerk? De onderzoekers beoordelen de prestaties van de groeiende netwerken door middel van numerieke experimenten en analytische methoden. Ze hebben ontdekt dat het toevoegen van knooppunten tijdens het trainen het netwerk stabiliseert, waardoor een hogere leersnelheid mogelijk wordt.

Waar veel ANN’s sterk verbonden zijn, zodat alle knooppunten uit één laag verbonden kunnen worden aan alle knooppunten uit een andere laag, zijn de verbindingen in biologische neurale netwerken een stuk spaarzamer. Spaarzaam verbonden netwerken kunnen efficiënter zijn op rekenkundig vlak, maar het is nog onduidelijk hoe ze het best getraind kunnen worden en hoe spaarzaamheid opgelegd kan worden. De onderzoekers hebben verschillende transities in de netwerkprestaties als functie van spaarzaamheid gevonden.

Voortgang (augustus 2023)

Zoals hierboven genoemd hebben de onderzoekers door middel van numerieke experimenten verschillende interessante eigenschappen van het leren van meerdere taken, neurogenese en de spaarzaamheid van netwerken aan het licht gebracht. Ze ontwikkelen momenteel analytische kaders om de onderliggende mechanismen te verklaren, evenals een verhaal voor een manuscript en documentatie waarmee andere groepen hun hulpmiddelen kunnen gebruiken.