Искусственный интеллект, то есть нейросети или технологии машинного обучения имеют структуру, похожую на мозг живых существ, то есть нейронную. Мы все знаем, что перед тем, как решать сложные задачи, человеческий мозг учится, причём процесс обучения этого биологического компьютера занимает многие годы, десятилетия (во всяком случае, два десятилетия – точно). Что касается искусственного интеллекта, то времени у разработчиков и производителей не очень много, но мощности нынешних компьютеров всё ещё не очень высоки. Поэтому ищутся технологии ускорения обучения алгоритмов. Сегодня процессоры Tensor от компании Google и Nervana от Intel могут ускорять процесс обучения алгоритмов и моделей ИИ, однако их архитектура не позволяет форсировать ранние стадии обучения. Поэтому прибавка в скорости получается незначительной.
Эхоотражение данных
Специалисты Google Brain решили, что нужен неординарный подход, и предложили новую технологию ускорения обучения под названием «эхоотражение данных». Практические опыты показали, что это решение существенно ускоряет обучение, при этом требуя меньшее количество примеров для обучения. Если при обычном процессе обучения алгоритмов\моделей ИИ сначала забирает данные, анализирует их, потом перемешивает, примеряет каждое преобразование, делает группировку различных примеров, и постоянно обновляет параметры для уменьшения количества ошибок, то при эхоотражении в процесс добавляется новая фаза. В этой фазе повторяются данные с предыдущей, пока в ней не произошли обновления параметров. В теории это позволяет задействовать все простаивающие мощности.
Оценивался подход на нескольких задачах, две задачи на моделирование языка, две на классификацию изображений и ещё на обнаружение объекта. Разумеется, аналогичные задачи ставились и при обычных условиях, со стандартным подходом. Замерялось время выполнения задач, а также количество примеров, которые понадобились для решения этих задач. Результаты показали ожидаемые изменения. В каждой из задач новый метод требует для достижения правильного результата намного меньше свежих примеров, кроме того, снижалось время обучения. При этом выяснилось, что метод эхоотражения нужно водить как можно раньше, результат улучшается быстрее, примеров требуется ещё меньше.
Если кто не в курсе, зачем нужны примеры, и что это такое. Если у вас стоит задача распознать среди картинок карликового шнырька, то вы вряд ли сумеете это сделать, если не видели его ни разу. Вам показывают такого с одном виде, в другом, с одной стороны, с другой, и так далее. До тех пор, пока вы на изображении уже уверенно не определите это существо.
В целом, эхоотражение – это довольно эффективный метод оптимизации, тем не менее, нужны ещё более радикальные и инновационные подходы. В некоторых случаях дополнительную фазу вводить нежелательно, но в общем всё равно обучение проходит крайне долго.
Загрузка...