+ Ответить в теме
Показано с 1 по 10 из 42.

Тема: Компы учатся мыслить абстрактно

Hybrid View

  1. #1
    Супер-модератор Философ plaksivaya_tryapka на пути к лучшему Аватар для plaksivaya_tryapka
    Регистрация
    18.06.2007
    Адрес
    подмосковье....
    Сообщения
    986
    Записей в дневнике
    15

    По умолчанию Компы учатся мыслить абстрактно

    Один из прорывов в работе компов с семантикой текста это модель word2vec и её производные вроде doc2vec. Модель была предложена всего несколько лет назад ребятами из Гугла.

    Как следует из названия, слово или набор слов представляется в виде вектора (word to vector), а из школьного курса математики известно, что векторы можно складывать, вычитать и так далее. Соответственно, теперь можно складывать и вычитать слова.

    Модель задаёт векторы слов в 300-мерном пространстве, но не надо пугаться. Если вектор на двумерной плоскости записывается двумя числами, то вектор в 300-мерном пространстве это просто 300 чисел через запятую) Слова сортируются по векторному пространству в зависимости от контекста в процессе обучения модели по большому количеству текста. И получается сортировка по смыслу/сути/понятию. Соответственно, операции со словами выглядят как операции с смысловыми признаками. Например, при сложении слов “король” и “женщина” подразумевается нечто, обладающее признаками “королевский” и “женский” и модель ответит “королева”. Вычитание “женщины” из “королевы” даст короля. Это достаточно простые примеры, но на лицо работа именно с абстрактными значениями слов.

    Модель меня заинтересовала и я написал бота для мессенджера “телеграм”, чтобы удобнее было с ней играться и понять её особенности и возможности. Бот получает от пользователя четыре слова, затем из первого вычитает второе, а третье и четвёртое воспринимает как ответы пользователя на разность и говорит насколько они близки к реальной векторной разности по шкале от -1 до +1. Затем отправляет в чат десять слов, которые по мнению модели наиболее близки к разности.



    Выше были простые примеры и, на мой взгляд, модель с ними справилась нормально. Модель способна и на операции с ещё более абстрактными понятиями, но до Скайнета, конечно, далеко. Где-то лажает, где-то нет. Например, вычитая “душу” из “человека” среди ответов модели третье место занимает “шимпанзе” =) На сумму “газа” и “дыхания” модель уверенно отвечает “воздух”, складывая “чувство” и “секс” получает “любовь”.

    Вычитая любое слово из самого себя получается нулевой вектор, который никуда не направлен и, значит, и не имеет смысловых признаков. Иными словами - белиберда =)

    Боту можно писать и вдвоём, пытаясь дать ближайшее слово к разности/сумме ранее написанных слов. Второй левел это играть, пытаясь дать наиболее противоположное слово к загаданному, что более требовательно к фантазии) Если, например, угадывать наиболее противоположное слово к слову "сталь", то это будет никак не "вата", потому что и то и другое это материал, вещество и так далее и, соответственно, вата это не лучший вариант) Максимально противоположное не должно обладать смысловым признаком "материал" и всем остальным, чем обладает слово "сталь".

    Помимо угадывания ближайших/далёких слов можно решать уравнения, пытаясь подобрать слово для переменной. например в уравнении "X + Y = любовь" слова подобрать легко, а в "Бог - X = человек" гораздо сложнее подобрать Х)

    А модель doc2vec позволяет складывать и вычитать не только слова, а целые предложения и тексты (их смыслы), но это уже другая история =)

    Кто хочет поиграться с моделью - пишите боту Word2vec_bot в телеграм) Что-то там может быть неудобно или не сразу понятно - извиняйте, я писал на скорую руку и для себя(
    На этом форуме все живут вечно
    и умирают в один день...

  2. #2
    Супер-модератор Философ plaksivaya_tryapka на пути к лучшему Аватар для plaksivaya_tryapka
    Регистрация
    18.06.2007
    Адрес
    подмосковье....
    Сообщения
    986
    Записей в дневнике
    15

    По умолчанию

    [spoiler]dsfdsf[/spoiler]
    Последний раз редактировалось plaksivaya_tryapka, 29.09.2017 в 15:20
    На этом форуме все живут вечно
    и умирают в один день...

  3. #3
    Местный Философ microbe на пути к лучшему Аватар для microbe
    Регистрация
    12.05.2012
    Адрес
    Красноярский край
    Сообщения
    822
    Записей в дневнике
    2

    По умолчанию

    Чтобы искусственная нейросеть научилась мыслить абстрактно, нужен виртуальный окружающий мир внутри сети сформировать и поместить туда собственное -Я-.
    А это больше похоже на контекстные ассоциативные цепочки без какой-либо осознанной абстракции окружающего мира. И где там субъект и объект?
    Микробы правят миром

  4. #4
    Супер-модератор Философ plaksivaya_tryapka на пути к лучшему Аватар для plaksivaya_tryapka
    Регистрация
    18.06.2007
    Адрес
    подмосковье....
    Сообщения
    986
    Записей в дневнике
    15

    По умолчанию

    Продолжаю свои игры с моделью Word2vec с целью познания=) Придумал новое занятие: искать наиболее противоположные по смыслу слова.

    В чём фишка: на первый взгляд может показаться, что противоположные слова это что-то типа добрый и злой. Но это совсем не так, потому что между словами много общего: оба слова являются описательными и описывают некие очеловеченные качества. Поэтому слова нужно подбирать так, чтобы между ними не было ничего общего, а желательно и противоположное. Например, добрый и компот. Это лучше, но всё равно оба слова опять как-то связаны с человеком и их смысловые координаты будут вместе смещены в эту область, что есть плохо. Ещё лучше, например, добрый и абстракция. Или компот и барокко.

    В итоге, поиск слов превращается в поиск чего-то наиболее трешового, бредового и противоположного - на что хватит вашей фантазии. На данный момент я достиг максимальной противоположности в минус 0,24, где -1 это максимально противоположно, а +1 это максимально близко. Кто хочет поиграться - добавляйте бота word2vec_bot в телеграм, если лень пишите тут, я сам отпишу ему)
    На этом форуме все живут вечно
    и умирают в один день...

  5. #5
    Местный Философ microbe на пути к лучшему Аватар для microbe
    Регистрация
    12.05.2012
    Адрес
    Красноярский край
    Сообщения
    822
    Записей в дневнике
    2

    По умолчанию

    plaksivaya_tryapka, чтобы нейронка научилась мыслить абстрактно нужно больше чем есть. К примеру создать собственный определённый или неопределённый интеграл, а ещё лучше дифференциальные уравнения высших порядков без машинного обучения и тому подобное. То бишь чисто с чистого листа без каких-либо заложенных принципов, то есть как неорганическая химия преобразовалась в органическую.
    Микробы правят миром

  6. #6
    Местный Философ microbe на пути к лучшему Аватар для microbe
    Регистрация
    12.05.2012
    Адрес
    Красноярский край
    Сообщения
    822
    Записей в дневнике
    2

    По умолчанию

    Мне вообще кажется человечество не сможет познать мозг никогда, я думаю мозг это как "кот Шрёдингера". Природа или Бог будет постоянно нас запутывать в поиске истинны функционирования мозга. Даже у однояйцеовых близнецов отпечатки пальцев и мозг разный, отсюда следует что информация это больше чем описание объективного мира.
    p.s. абстракция это супер свойство разума
    Микробы правят миром

+ Ответить в теме

Thread Information

Users Browsing this Thread

There are currently 1 users browsing this thread. (0 members and 1 guests)

     

Ваши права в разделе

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts