Lecture 12

1. Искусственные нейронные сети (ANN)

- Вдохновение из биологии:

- Нейроны в мозге обрабатывают информацию и передают сигналы.

- Первая модель ANN создана в 1957 году Фрэнком Розенблаттом.

- Исторические этапы:

- В 1969 году исследования затормозились из-за ограничений (например, невозможность решить XOR).

- В настоящее время наблюдается "весна ИИ" благодаря доступным вычислительным мощностям.

Компоненты ANN

1. Архитектура:

- Feedforward: прямое распространение сигналов.

- Recurrent: наличие обратных связей.

2. Модель нейрона:

- Функции должны быть дифференцируемыми (для обратного распространения ошибки).

3. Алгоритм обучения:

- Методы: обратное распространение ошибки, эволюционные подходы.

- Типы: с учителем (classification) и без учителя (clustering).

Области применения

- Распознавание речи.

- Компьютерное зрение.

- Генерация музыки и искусства.

- Решение нелинейных задач.

---

2. Перцептрон

Основы

- Определение: простая однослойная feedforward сеть.

- Формула вывода:

Активационные функции

1. ReLU:

- Простая и эффективная.

.

2. Leaky ReLU:

3. Parametric ReLU:

- alpha обучается в процессе.

4. Softplus: