Меня всегда удивляло как необычно настроены биологические системы и, конечно, нейроны и их сети в первую очередь. Недавно у нас на факультете выступал Mark Goldman, который работает в Janelia Farm. Он занимается моделями рабочей памяти на примере окуломоторного интегратора у рыбы. Это такая штука, которая позволяет рыбе двигать глазами на определенное расстояние и удерживать зрачок на определенном месте в течение долгого времени. Так вот нейросеть, которая управляет движением глаза может удерживать активность, когда она получает небольшой короткий вход от так называемых генераторов саккад (быстрые движения зрачка). Вход от этих генераторов представляет собой короткую пачку импульсов, интенсивность которой пропорциональна углу поворота глаза. Когда сеть получает такой короткий, но интенсивный залп, её активность переходит на определенный уровень интенсивности, почти дискретно. При этом уровень активности удерживается постоянно в течение долгого времени, до следующей пачки импульсов, если она приходит. Выход этой сети в свою очередь стимулирует мышцы, которые управляют положением глаза и удерживают его в нужном направлении. Кратковременная память в такой системе заключается в том, что активность сети является постоянной после получения входа. Иными словами, когда глаз рыбы смотрит в определенную сторону, нервы, которые стимулируют мышцы и управляют положением глаза, помнят о том, где он находился до этого и хранят эту информацию в уровне активности всей сети. Справедливости ради стоит отметить, что схожая модель рабочей памяти используется для описания того, что происходит в префронтальной коре у макак, когда им необходимо запомнить картинки на экране. Интеграторы часто встречаются в разных частях нервной системы, когда нужно что-то запомнить.
Интересным является архитектура сети, которая способна поддерживать активность таким образом. Это крайне нетривиальная задача из ненадежных элементов вроде нейронов собрать такую систему, которая сможет хоть что-то ненадолго запомнить. На первый взгляд это возможно сделать даже с помощью небольшой сети, с самовозбуждением, которая будет либо все время молчать, либо генерировать импульсы с максимальной частотой, если получит достаточный вход (самовозбуждение с сигмоидной нелинейностью). Большая проблема в таком случае состоит в том, что система должна быть очень тонко настроена в таком случае, что вряд ли можно ожидать от живых систем. Решить эту проблему оказывается можно через механизм обратной связи, который возвращает сеть обратно, если она начинает отклоняться от постоянного уровня активности. Т. е. внешний вход в такой сети, например, от генераторов саккад может перебросить сеть в состояние с определенным уровнем активности. Затем за счет механизма обратной связи этот уровень активности уже никуда не уйдет, поскольку он будет возвращать активность в положение равновесия. Чтобы реализовать такую обратную связь в сети нейронов должно быть быстрое торможение и более медленное возбуждение. Торможение в таком случае возвращает систему на место, если она начинает отклоняться, а возбуждение позволяет поддерживать постоянный уровень активности и перескакивать между ними при получении внешнего входа от генераторов саккад.
Крутым на мой взгляд является то, что используя только одно большое ограничение на скорость возбуждения/торможения можно запихать в сеть большое количество разных аттракторов (устойчивых решений), каждый из которых будет соответствовать определенной функции, например, положению глаза. В таком случае говорят о целой линии аттракторов, где каждая точка которого соответствует определенному уровню активности. При этом такая система не слишком чувствительна к изменению параметров возбуждения и торможения, что хорошо, поскольку вряд ли можно ожидать, что в биологической сети нейронов все слишком тонко настроено. В противном случае незапланированные движения глаз могли бы привести к эпилепсии или скатыванию активности к абсолютному покою, из которого потом не выбраться. Детали о том, как можно получить такое поведение в сети нейронов очень долго выводятся (http://www.nature.com/neuro/journal/v16/n9/full/nn.3492.html), но основные принципы можно показать на простой модели, состоящей из нескольких уравнений.
#нейротоля
Интересным является архитектура сети, которая способна поддерживать активность таким образом. Это крайне нетривиальная задача из ненадежных элементов вроде нейронов собрать такую систему, которая сможет хоть что-то ненадолго запомнить. На первый взгляд это возможно сделать даже с помощью небольшой сети, с самовозбуждением, которая будет либо все время молчать, либо генерировать импульсы с максимальной частотой, если получит достаточный вход (самовозбуждение с сигмоидной нелинейностью). Большая проблема в таком случае состоит в том, что система должна быть очень тонко настроена в таком случае, что вряд ли можно ожидать от живых систем. Решить эту проблему оказывается можно через механизм обратной связи, который возвращает сеть обратно, если она начинает отклоняться от постоянного уровня активности. Т. е. внешний вход в такой сети, например, от генераторов саккад может перебросить сеть в состояние с определенным уровнем активности. Затем за счет механизма обратной связи этот уровень активности уже никуда не уйдет, поскольку он будет возвращать активность в положение равновесия. Чтобы реализовать такую обратную связь в сети нейронов должно быть быстрое торможение и более медленное возбуждение. Торможение в таком случае возвращает систему на место, если она начинает отклоняться, а возбуждение позволяет поддерживать постоянный уровень активности и перескакивать между ними при получении внешнего входа от генераторов саккад.
Крутым на мой взгляд является то, что используя только одно большое ограничение на скорость возбуждения/торможения можно запихать в сеть большое количество разных аттракторов (устойчивых решений), каждый из которых будет соответствовать определенной функции, например, положению глаза. В таком случае говорят о целой линии аттракторов, где каждая точка которого соответствует определенному уровню активности. При этом такая система не слишком чувствительна к изменению параметров возбуждения и торможения, что хорошо, поскольку вряд ли можно ожидать, что в биологической сети нейронов все слишком тонко настроено. В противном случае незапланированные движения глаз могли бы привести к эпилепсии или скатыванию активности к абсолютному покою, из которого потом не выбраться. Детали о том, как можно получить такое поведение в сети нейронов очень долго выводятся (http://www.nature.com/neuro/journal/v16/n9/full/nn.3492.html), но основные принципы можно показать на простой модели, состоящей из нескольких уравнений.
#нейротоля
I was always amazed at how unusually tuned biological systems are, and, of course, neurons and their networks in the first place. Recently, Mark Goldman, who works at Janelia Farm, performed at our faculty. He is engaged in working memory models as an example of an oculomotor integrator in fish. This is such a thing that allows the fish to move its eyes a certain distance and keep the pupil in a certain place for a long time. So the neural network that controls the movement of the eye can maintain activity when it receives a small short input from the so-called saccade generators (fast pupil movements). The input from these generators is a short burst of pulses, the intensity of which is proportional to the angle of rotation of the eye. When a network receives such a short but intense volley, its activity moves to a certain level of intensity, almost discretely. At the same time, the level of activity is kept constant for a long time, until the next burst of pulses, if it arrives. The output of this network in turn stimulates the muscles that control the position of the eye and hold it in the right direction. Short-term memory in such a system is that the network activity is constant after receiving the input. In other words, when the eye of the fish looks in a certain direction, the nerves that stimulate the muscles and control the position of the eye remember where it was before and store this information in the level of activity of the entire network. In fairness, it is worth noting that a similar model of working memory is used to describe what happens in the prefrontal cortex of macaques, when they need to remember pictures on the screen. Integrators are often found in different parts of the nervous system when you need to remember something.
Interesting is the network architecture, which is able to maintain activity in this way. This is an extremely non-trivial task to assemble a system from unreliable elements like neurons that can remember at least something. At first glance, this can be done even with the help of a small network, with self-excitation, which will either be silent all the time or generate pulses with the maximum frequency if it receives a sufficient input (self-excitation with sigmoid nonlinearity). The big problem in this case is that the system must be very finely tuned in this case, which can hardly be expected from living systems. This problem can be solved through the feedback mechanism, which returns the network back if it begins to deviate from a constant level of activity. That is, an external input in such a network, for example, from saccade generators, can transfer the network to a state with a certain level of activity. Then, due to the feedback mechanism, this level of activity will not go anywhere, since it will return activity to the equilibrium position. To implement such feedback in a network of neurons, there must be rapid inhibition and slower excitation. Braking in this case returns the system to its place if it starts to deviate, and the excitation allows you to maintain a constant level of activity and jump between them when receiving an external input from saccade generators.
Cool in my opinion is that using only one big restriction on the speed of excitation / inhibition, you can cram a large number of different attractors (stable solutions) into the network, each of which will correspond to a certain function, for example, the position of the eye. In this case, they talk about a whole line of attractors, where each point of which corresponds to a certain level of activity. Moreover, such a system is not too sensitive to changes in the parameters of excitation and inhibition, which is good, since it can hardly be expected that everything in the biological network of neurons is too finely tuned. Otherwise, unplanned eye movements could lead to epilepsy or a roll-off of activity to absolute rest, from which then you can not get out. Details on how to obtain such behavior in a network of neurons have been displayed for a very long time (http://www.nature.com/neuro/journal/v16/n9/full/nn.3492.html), but the basic principles can be shown in simple a model consisting of several equations.
# neurotol
Interesting is the network architecture, which is able to maintain activity in this way. This is an extremely non-trivial task to assemble a system from unreliable elements like neurons that can remember at least something. At first glance, this can be done even with the help of a small network, with self-excitation, which will either be silent all the time or generate pulses with the maximum frequency if it receives a sufficient input (self-excitation with sigmoid nonlinearity). The big problem in this case is that the system must be very finely tuned in this case, which can hardly be expected from living systems. This problem can be solved through the feedback mechanism, which returns the network back if it begins to deviate from a constant level of activity. That is, an external input in such a network, for example, from saccade generators, can transfer the network to a state with a certain level of activity. Then, due to the feedback mechanism, this level of activity will not go anywhere, since it will return activity to the equilibrium position. To implement such feedback in a network of neurons, there must be rapid inhibition and slower excitation. Braking in this case returns the system to its place if it starts to deviate, and the excitation allows you to maintain a constant level of activity and jump between them when receiving an external input from saccade generators.
Cool in my opinion is that using only one big restriction on the speed of excitation / inhibition, you can cram a large number of different attractors (stable solutions) into the network, each of which will correspond to a certain function, for example, the position of the eye. In this case, they talk about a whole line of attractors, where each point of which corresponds to a certain level of activity. Moreover, such a system is not too sensitive to changes in the parameters of excitation and inhibition, which is good, since it can hardly be expected that everything in the biological network of neurons is too finely tuned. Otherwise, unplanned eye movements could lead to epilepsy or a roll-off of activity to absolute rest, from which then you can not get out. Details on how to obtain such behavior in a network of neurons have been displayed for a very long time (http://www.nature.com/neuro/journal/v16/n9/full/nn.3492.html), but the basic principles can be shown in simple a model consisting of several equations.
# neurotol
У записи 10 лайков,
1 репостов.
1 репостов.
Эту запись оставил(а) на своей стене Анатолий Бучин
