Просмотр полной версии : Компы учатся мыслить абстрактно
plaksivaya_tryapka
29.04.2017, 12:19
Один из прорывов в работе компов с семантикой текста это модель word2vec и её производные вроде doc2vec. Модель была предложена всего несколько лет назад ребятами из Гугла.
Как следует из названия, слово или набор слов представляется в виде вектора (word to vector), а из школьного курса математики известно, что векторы можно складывать, вычитать и так далее. Соответственно, теперь можно складывать и вычитать слова.
Модель задаёт векторы слов в 300-мерном пространстве, но не надо пугаться. Если вектор на двумерной плоскости записывается двумя числами, то вектор в 300-мерном пространстве это просто 300 чисел через запятую) Слова сортируются по векторному пространству в зависимости от контекста в процессе обучения модели по большому количеству текста. И получается сортировка по смыслу/сути/понятию. Соответственно, операции со словами выглядят как операции с смысловыми признаками. Например, при сложении слов “король” и “женщина” подразумевается нечто, обладающее признаками “королевский” и “женский” и модель ответит “королева”. Вычитание “женщины” из “королевы” даст короля. Это достаточно простые примеры, но на лицо работа именно с абстрактными значениями слов.
Модель меня заинтересовала и я написал бота для мессенджера “телеграм”, чтобы удобнее было с ней играться и понять её особенности и возможности. Бот получает от пользователя четыре слова, затем из первого вычитает второе, а третье и четвёртое воспринимает как ответы пользователя на разность и говорит насколько они близки к реальной векторной разности по шкале от -1 до +1. Затем отправляет в чат десять слов, которые по мнению модели наиболее близки к разности.
http://i.imgur.com/otjkjY3.jpg
Выше были простые примеры и, на мой взгляд, модель с ними справилась нормально. Модель способна и на операции с ещё более абстрактными понятиями, но до Скайнета, конечно, далеко. Где-то лажает, где-то нет. Например, вычитая “душу” из “человека” среди ответов модели третье место занимает “шимпанзе” =) На сумму “газа” и “дыхания” модель уверенно отвечает “воздух”, складывая “чувство” и “секс” получает “любовь”.
Вычитая любое слово из самого себя получается нулевой вектор, который никуда не направлен и, значит, и не имеет смысловых признаков. Иными словами - белиберда =)
Боту можно писать и вдвоём, пытаясь дать ближайшее слово к разности/сумме ранее написанных слов. Второй левел это играть, пытаясь дать наиболее противоположное слово к загаданному, что более требовательно к фантазии) Если, например, угадывать наиболее противоположное слово к слову "сталь", то это будет никак не "вата", потому что и то и другое это материал, вещество и так далее и, соответственно, вата это не лучший вариант) Максимально противоположное не должно обладать смысловым признаком "материал" и всем остальным, чем обладает слово "сталь".
Помимо угадывания ближайших/далёких слов можно решать уравнения, пытаясь подобрать слово для переменной. например в уравнении "X + Y = любовь" слова подобрать легко, а в "Бог - X = человек" гораздо сложнее подобрать Х)
А модель doc2vec позволяет складывать и вычитать не только слова, а целые предложения и тексты (их смыслы), но это уже другая история =)
Кто хочет поиграться с моделью - пишите боту Word2vec_bot в телеграм) Что-то там может быть неудобно или не сразу понятно - извиняйте, я писал на скорую руку и для себя(
plaksivaya_tryapka
29.04.2017, 14:34
dsfdsf
Чтобы искусственная нейросеть научилась мыслить абстрактно, нужен виртуальный окружающий мир внутри сети сформировать и поместить туда собственное -Я-.
А это больше похоже на контекстные ассоциативные цепочки без какой-либо осознанной абстракции окружающего мира. И где там субъект и объект?
plaksivaya_tryapka
26.05.2017, 12:36
Продолжаю свои игры с моделью Word2vec с целью познания=) Придумал новое занятие: искать наиболее противоположные по смыслу слова.
В чём фишка: на первый взгляд может показаться, что противоположные слова это что-то типа добрый и злой. Но это совсем не так, потому что между словами много общего: оба слова являются описательными и описывают некие очеловеченные качества. Поэтому слова нужно подбирать так, чтобы между ними не было ничего общего, а желательно и противоположное. Например, добрый и компот. Это лучше, но всё равно оба слова опять как-то связаны с человеком и их смысловые координаты будут вместе смещены в эту область, что есть плохо. Ещё лучше, например, добрый и абстракция. Или компот и барокко.
В итоге, поиск слов превращается в поиск чего-то наиболее трешового, бредового и противоположного - на что хватит вашей фантазии. На данный момент я достиг максимальной противоположности в минус 0,24, где -1 это максимально противоположно, а +1 это максимально близко. Кто хочет поиграться - добавляйте бота word2vec_bot в телеграм, если лень пишите тут, я сам отпишу ему)
plaksivaya_tryapka, чтобы нейронка научилась мыслить абстрактно нужно больше чем есть. К примеру создать собственный определённый или неопределённый интеграл, а ещё лучше дифференциальные уравнения высших порядков без машинного обучения и тому подобное. То бишь чисто с чистого листа без каких-либо заложенных принципов, то есть как неорганическая химия преобразовалась в органическую.
Мне вообще кажется человечество не сможет познать мозг никогда, я думаю мозг это как "кот Шрёдингера". Природа или Бог будет постоянно нас запутывать в поиске истинны функционирования мозга. Даже у однояйцеовых близнецов отпечатки пальцев и мозг разный, отсюда следует что информация это больше чем описание объективного мира.
p.s. абстракция это супер свойство разума
Недавно учёные из США смогли -доказать- что нейроны восстанавливаются даже у старых людей, одно только мешает атеросклероз, изношенность сосудов и капиляров головного мозга. Так что наш мозг может прожить больше чем "положено", нужно решить только проблему сохранности или восстановление сосудов, ибо сердце уже давно пересаживают.
plaksivaya_tryapka
07.04.2018, 18:07
Логично, проблемы с сердечно-сосудистой системой это самая распространенная причина смерти
Всё правильно сердечно-сосудистые заболевания на первом месте. Хотя гипотеза или "теория" апоптоза говорит о запрограммированной смерти, но я думаю что человечество сможет в будущем побороть эту проблему.
Вот к примеру Докинз говорит об "Эгоистичном гене" но я думаю что у него это утрировано. Ведь множество клеток-нейронов создают единый разум, то есть большое кол-во нейронов работают на единый разум. Мы воспринимаем себя как целое, а не разрывное. Я не буду утверждать что непрерывное и что дискретное, но скажу что разум скорее в области квантовой физике, а не биохимии как раньше думал.
Я не знаю когда познаем полностью мозг, но верю всё таки в будущем сможем.
Когда познаем полностью функционирование мозга, то сможем незрячим возвращать зрение, глухим слух, парализованным подвижность, ампутированные конечности заменять на целые, у преступников изымать полную информацию из памяти мозга для их вины, записывать на аудио-видео сновидения и многое другое. И самое интересное создавать виртуальные миры, ведь все сигналы которые получают 5-органов чувств сможем моделировать по своему усмотрению, то есть как хотим и будем делать. Ведь 5-органов чувств дают нам связь с внешним окружающим миром, не будь этих потоков "сигналов" мы не смогли бы взаимодействовать с внешним миром. Да, мозг это самый сложный объект во Вселенной, как не крути.
Мне вот интересно знать, почему нейроны реагируют на стимулы и что их заставляет именно так реагировать на тот или иной стимул? К примеру стимул на наслаждение или на острую боль, ведь различия очень масштабные. Одни сигналы угнетают наше сознание, а другие дают наслаждение, как и что это делает нам это чувство? Мне кажется это область на уровне квантовой физике, а не биохимии...
Одно дело "мыслить", а другое дело ощущать окружающий мир при помощи эмоций. А ведь этот уровень намного сложнее чем уровень когнитивных функций.
В последнее время думаю что наш мозг приёмник и передатчик электро-импульса, а остальное где хранение и получение доступа к базе данных не в нашей области материи.
Бывают такие парадоксы когда у человека в прямом смысле остаётся 10% мозга и он при этом сохраняет свои жизнедеятельности потребности, даже при вскрытие у заядлых алкашей вместо мозга жидкость бывает. С точки зрения схемотехнике и удивительной пластичности и сжатие нейронов это просто чудо.
Что-то нейронауки уже 60-лет буксуют в полностью познание мозга до молекулярной функциональности нейронов.
Что-то нейронауки уже 60-лет буксуют в полностью познание мозга до молекулярной функциональности нейронов.
Было бы странным, познать себя за 60 лет, учитывая многотысячелетнюю историю создания познаваемого образца)))
А если серьёзно, эволюция продолжается. И когда содержание превозойдет свою форму, то либо изменится форма ( и эволюция продолжится), либо произойдёт разрыв формы и содержания ( конец ).
Эволюция на геном уровне стоит на месте, если что. За всё время генетики не зафиксировали дискретной эволюции у человека. Не надо приписывать миллионы лет случайности бытия. Тут недавно прочитал опус о появление жизни почти сразу после создание планеты Земля, тобишь учёные некоторые думают о создание жизни вне планеты Земля. Я понимаю бритвы Оккамы, но неизведанное трудно понять истинную природу быия...
Phenex.New episode
16.02.2019, 00:49
А если серьёзно, эволюция продолжается. И когда содержание превозойдет свою форму, то либо изменится форма ( и эволюция продолжится), либо произойдёт разрыв формы и содержания ( конец ).
Да, ребят, реальная угроза для человечества)
У кибернетики был уже провал в 80-ых с экспертными системами, сейчас снова взялись за нейронные сети из-за мощностей векторных вычислений на GPU тут один нюанс в проблеме "чёрного ящика" у искусственных нейронных сетей. И самое главное разум не может появиться в этих сетях! Да что тут говорить, если мозг червя для нас проблема не говоря о биомеханики и размножения с автономным существование в окружающей среде...
p.s. можно много приводить доводов, но с другой стороны машинное обучение даёт результаты пока. С одной стороны всё что мы создаем это работа мозга, отсюда следует что эволюция продолжается в виде абстрактной математике, а не биологии.
Кто первый Джон Атанасов или Конрад Цузе, иль Чарлз Бэбидж, а кто основа Джордж Буль и Лейбниц, и тому подобное. Кто первый Норберт Виннер или Тьюринг, а может ещё Клод Шеннон, Эдсгар Дейкстра. Денис Ритчи, Кен Томпсон, Бьерн Страуструп, Джеймс Гослинг, Ларри Уолл, Расмус Лердоф, Никлас Вирт, Грейс Хоппер, Джон Маккарти, Джон Бэкус...,
Движущая сила разума - потребность выжить. Пока компы не борются за существование - они не разумны.
Всё верно, главное разума осознавать окружающий мир, не просто действовать по заложенным инстинктам, а уметь извликать более лучшие способы для своего существования. Мне охотно докопаться до истины, иль органическая материя возникает как закон физики - то есть имею ввиду при определенных условиях возникает жизнь. Мы ведь шибко не удивляемся солнечной системой, а вот проявлению жизни больше.
Весь вопрос в том, что заставляет собираться атомы в молекулы, молекулы в вещества, вещества в организмы. К чему весь этот симбиоз, если атомы могут существовать сами по себе? Или не могут? Быть может, единственная форма жизни - это ДНК и рнк, паразитирующие и подчиняюшие себе белковых симбионтов. Воюющие между собой. Или это войны чистого разума, закодировавшего себя в химических последовательностях?
В ближайшее будущее у компов нет ни малейшего шанса научиться мыслить абстрактно. На сегодняшний день - передовое
достижение науки в этом направлении - коннектом элегантного червя (от латинского - caenorhabditis elegans). У этого червя всего 1000 клеток,
из которых 300 нейронов. И вот, ученые, изучив все его немногочисленные синапсы, (до 5 от каждого нейрона) создали коннектом данного червя. И он не фига не функционирует как настоящий элегантный червь.
Так что, ничего ваши компы не учатся, и в ближайшее время не научатся. Для сравнения: у человека около 90 млрд. нейронов, у каждого около 5000 синапсов, причем, каждый день, в среднем, 3 из них распадаются, а
3 создаются вновь. Почувствуйте разницу.
4ёрный, гравитация, электро-магнитные волны, ядерные силы по сути все те законы физики которые изучает фундаментальная наука.
На счёт мотивов материи объединятся - это загадка самой бытия Вселенной. Nabat, всё правильно ибо это мне известно, может быть Роджер Пенроуз прав на счёт квантовой природе сознания, посмотрим как покажут себя квантовые компьютеры, есть пионеры в этой области в IBM.
Мне кажется, что все дело в алгоритмах ассоциативного мышления и логическом обосновании поведения. Кто нибудь создал самоподдерживающийся алгоритм?
Как об'яснить компьютеру необходимость самостоятельно ремонтироваться и добывать энергию? Чем его мотивировать?
Дело не в синапсах, а в ситуационном мышлении. Чтобы определённые обстоятельства ассоциировались с определёнными последствиями. А это возможно лишь с опытом.
Червь - это слишком сложно. Надо начинать с амёбы.
Тут нелинейные структуры данных трудно все охватить не говоря о мозге. К примеру RB-Tree, AVL-Tree, 2-3 Tree, 2-3-4 Tree, B-Tree, B+-Tree, B*-Tree, Splay Tree, ну может ещё R-Tree короче очень сложно. А ещё куча есть очень сложная Фибоначчиева куча.
Многие которые себя называют true-программистами кроме двоичного дерева поиска не могут реализовывать выше перечисленные деревья. Да что тут говорить, если многие программеры немогут самостоятельно реализовать merge sort и quick sort не рекурсивный.
Я конечно не программист, но в прошлой жизни изучал фортран и Паскаль на ес1073.))) Так что представление имею. Возможно, смутное)))
А про сортировку данных в контексте искина можно посмотреть фильм "окончательный монтаж" с Робином Уильямсом.
Мне кажется, что в процессе работы искин должен постоянно находиться в процессе проверки внешних обстоятельств на соответствие уже записанным в память для вынесения решения о действии, сообразуясь с требуемым результатом и своим опытом.
И кстати, придётся жёстко модерировать хранимые данные. Человек тоже многое не помнит. Важно только то, что связано с выживанием и социализацией.
Самое трудное - алгоритм ассоциативного поиска данных и связь его с решаемой задачей.
Самое трудное - алгоритм ассоциативного поиска данных и связь его с решаемой задачей.
Тут главное контекст, на счёт ассоциативного то здесь продвижения есть, а вот в понимание контекста нет. На счёт искусственного разума то здесь трудно что-то сказать.
Короче скажу так, вот когда ИИ сможет придумать или создать свою математику, вот тогда поверю в искусственный разум и т.п.
Каждый из нас своего рода ИИ. От рождения заложен лишь механизм инстинктов. Все остальное - обучение и опыт .
Когда компы осознают себя как самостоятельную систему - тогда и будет ИИ.
Система может не знать о своём предназначении, но базовые мотивации (больно,страшно,холодно,тепло...) должны в ней уже быть. Как можно сделать компу больно? Кто найдёт ответ - станет основателем ИИ.
Лимбическая система мозга мне кажется больше выполняет функций чем думают, наверное Юнг прав на счёт силу подсознания.
Вообще мне кажется Роджер Пенроуз прав на счёт квантовой природе нашего мозга. Во-первых мозг использует электро-импульсы для своего функциональности, отсюда следует что электроны и есть истина в последней инстанции. А как мы знаем, что электроны это область больше ядерной физики чем органической химии...
Пускай мыслят, если смогут. Мне балдому вообще до лампочки, что и как мыслит, хе-хе...
Да гавно это машинное обучение, что искусственные нейронные сети и нечёткая логика по сути тождественны. Мозгу для своей работы хватает почти 25-ватт во время бодрствовании, слабо такое повторить на Si-кремнии? Теорема Гёделя о неполноте)))
Какой мозг, если сейчас наука не может синтезировать искусственную кровь, плазму эритроциты, тромбоциты, лейкоциты и т.п. Где у светил мира сего, искусственный желудок, кишечник, печень, лёгкие, поджелудочная железа, восстановление спинного мозга(у колясчников), лечение церебрального.паралича, мышечной дистрофии, болезни Бехтерова и т.д. Вот смотрите это не мозг по сути, а переферия и где здесь прорывы? Даже сахарный диабет не под силу пока. Так что рано говорить про мозг!