?

Log in

No account? Create an account

Previous Entry Поделиться Пожаловаться Next Entry
Роботы убийцы
trim_c

Тоби Уолш, профессор в области искусственного интеллекта


Возникает вопрос — увидим ли мы в будущем как роботы не только участвуют в войнах, но и планируют их? В действительности уже происходит и то, и другое.

Несмотря на множество предупреждений исследователей ИИ (таких как я), основателей роботехнических компаний, лауреатов Нобелевской премии и церковных лидеров — полностью автономное оружие, известное как «робот-убийца» уже было создано и скоро будет использоваться.

В 2020 году Турция развернет дроны-камикадзе на границе с Сирией. Эти дроны будут пользоваться компьютерным зрением, чтобы идентифицировать, выслеживать и убивать людей без человеческого вмешательства.

Это ужасная разработка. У компьютеров нет моральных возможностей решать кому жить, а кому умирать. Они не обладают эмпатией или сочувствием. «Роботы-убийцы» изменят саму природу конфликтов в худшую сторону.

А что на счет «роботов-генералов»? Компьютеры десятилетиями помогали генералам планировать войну. Еще в начале 90-х, во время операции Буря в пустыне в ходе войны в Персидском заливе, инструментарий ИИ был использован, чтобы спланировать наращивание сил на Среднем Востоке до начала конфликта. Один генерал США вскоре после этого сказал мне, что количество сэкономленных денег равняется сумме всего, что было затрачено на разработку ИИ до этого.

Компьютеры широко используются генералами и для разработки потенциальных военных стратегий. Но мы не отдаем все решения на поле боя в руки одного солдата, поэтому и перекладывать всю ответственность генерала в руки компьютера — значит зайти слишком далеко.

Машину нельзя привлечь к ответственности за принятые ей решения. Только людей. И это краеугольный камень международного гуманитарного права. Тем не менее, чтобы прорваться через туман войны и разобраться с обширным количеством информации идущей с фронта, генералы будут все больше полагаться на поддержку компьютера в своих решениях.

Если результатом этого станет меньшее количество жертв среди гражданских, уменьшение огня по своим и большее уважение к международному гуманитарному праву, мы должны приветствовать такую компьютерную помощь. Но окончательное решение должно приниматься человеком, а не машиной.

Вот последний вопрос, над которым стоит поразмышлять. Если технические компании, такие как Google правда не желают, чтобы мы боялись восстания машин, почему они занимаются созданием ботов для победы в виртуальных войнах вместо того, чтобы сфокусироваться на чем-то более миролюбивом, например, спортивных компьютерных играх? При всем уважении к спортивным фанатам, ставка была бы гораздо ниже.


Я уже не один раз писал, что самые продвинутые модели ИИ сразу берутся на вооружение. И что мы создаем все более интеллектуальных и все более автономных роботов, специально разработанных и обученных для того, чтобы убивать людей.

Когда я читаю об очередных успехах ИИ, я понимаю что мы рапортуем о наших успехах в деле уничтожения самих себя.

Хорошо что об этом пишу не только я. Хотя я отлично понимаю что все это до лампочки. Генералов и трампов с путиными и орбанами не остановить, они все равно остановятся только когда увидят робота-убийцу в своем кабинете.

Такие уж мы - очень сапиенсы


  • 1
>>Если технические компании, такие как Google правда не желают, чтобы мы боялись восстания машин, почему они занимаются созданием ботов для победы в виртуальных войнах вместо того, чтобы сфокусироваться на чем-то более миролюбивом, например, спортивных компьютерных играх?

Интересно, про какие спортивные компьютерные игры он говорит? ИИ уже довольно давно покорили шахматы, относительно недавно Го. Остались только игры про войну, да и то не на долго. На днях видел новость что AlphaStar от гугла давно играет с людьми и входит в топ 100 ладера СтарКрафта2... Да и в доте2 нейросети давно дают просраться топам

Edited at 2019-11-06 15:37 (UTC)

Вот то же самое хотел написать. Странно, что автор позиционирующий себя экспертом в ИИ пишет откровенную глупость. Гугл как раз отметились разработкой ИИ для решения Го. Какие "более мирные спортивные игры" автор имеет в виду - для меня загадка. Спорт строится на конкуренции и состязательности, сводя модель конфликта к состязанию по четким правилам. Это единственная его "мирная" сторона.

Господин Туров поднял тему которая специалистам известна лет 15-20 уже как. Уже даже половина авторов НФ по ней оттопталась.

Последние лет пять доклады по оптимальному использованию автономных интеллектуальных систем - мейстрим в первой пятерке армий мира.

Правда заключаеться в том что и Соц. Сети и поисковые системы и игры уже 10 лет как испозуються в качестве оружия гибридной войны. Скажем в "Арабской весне" роль FB давно исчерпывающе описана в десятках и сотнях докладов.
Возможность повлиять на результаты выдачи в поисковой системе уже имеет большее влияние чем системы позиционирования.
А возможность повлиять на алгоритмы составляющие персонализоранные списки новостей в соц. Сетях уже важнее чем контроль телеканалов. ( Телеканалы как штык нож во ВМВ ещё испозуються, но не имеют решающего значения).
Игры это средство влияния уже намного сильнее чем традиционные СМИ вместе взятые. А проекты с большим онлайном - курируються напрямую людьми из структур отвечающих за безопасность.

Три года назад, осенью 2016 в Казани проходила выставка роботов (заявлена как для детей). Там были в основном "российские" роботы (на китайских комплектующих) типа пресловутого Федора, громоздкие "человеко-образные" игрушки. А в дальнем закутке стояло пара столов, и на них детские квадрокоптеры. Один китайский, другой американский. Китайский не работал, а американский работал.
Так вот, он поднимался СИЛОЙ МЫСЛИ. На голову одевался специальный обруч, рядом на планшете приложение, привязанное к обручу и коптеру, контролирующее мозговое напряжение. И вот напрягаешься, представляешь себе, как он поднимается, и он действительно поднимается! И мой 10-летний сын тоже сумел поднять в воздух коптер. Мы, случайные люди, без всякой подготовки, на детской выставке в провинции. А что же происходит в настоящих научных центрах? Страшно подумать...

трампов с путиными и орбанами не остановить
======================
Ха! Можно подумать, если украинские изобретатели создадут "робота-убийцу", руководство ВСУ и РНБО скажут ему - "Фу-фу-фу!"
Наоборот, тут же пустят а производство и отправят на Донбасс. И где угодно так.

именно так они и говорят, причем по всему миру. Генералы не любят роботов.
Поинтересуйтесь с какими препонами сталкиваются группы волонтеров разрабатывающие беспилотники.

У нас с препонами сталкиваются разработчики ВСЕГО.

значительно дешевле будет отправить ватное говно из запаребрикав и падбурятий на донбасс где они могут очень дешево убивать ватных фанатов рюцкэ говномира

и это хорошо. Потому что умные и богатые страны смогут защитить себя

Как знать... Янки выиграли у Третьего Рейха и Японской империи, сыграли вничью в Корее и продули во Вьетнаме.
С технологиями инддустриального общества они могли бы закатать Вьетнам в парковку, но не могли выбить гуков с сохранением жизни цивилов Республики Вьетнам или без неприемлемых потерь джи-ай.
Ну а перспективный рой боевых роботов аккуратно выбьет граммовыми зарядами С4 боевиков...
Кто будет управлять этим роем? Ну а кто управлял армиями Алоизыча или Сосо?..

Если бы янки победили Вьетнам, некому было бы останавливать китайцев. Они их по сути воевать учили. Также, как до этого самих китайцев в Корее.

Вот китайцев и придется останавливать роям роботов...

Очень много намешано.

"Еще в начале 90-х, во время операции Буря в пустыне в ходе войны в Персидском заливе, инструментарий ИИ был использован, чтобы спланировать наращивание сил на Среднем Востоке " - линейное и динамическое пограммирование, пусть даже и с интерфейсом в виде экспертной системы, по нынешним понятиям на ИИ не тянет.

"окончательное решение должно приниматься человеком, а не машиной" - ага-ага, Jack D. Ripper был вполне человеком... А в мемуарах германских генералов любимое место, как они все валили на Алоизыча. Институты должны принимать решение! Это еще автор De re publica знал.

Такие статьи пишут неслужившие. Любой офицер знает, что армия - это механизм по производству биороботов-убийц, хоть с сариссами, хоть с гладиями, хоть с калашниковыми... И держать ее в узде могут лишь институты общества - Цицерон же служил офицером у самого Суллы...




Недостаток ИИ в том что он не может придумывать. Вот когда он сможет придумывать тогда начнутся проблемы. Те же дроны работают по алгоритму. Если знаешь как думает твой враг побороть его уже на много проще.

Что значит "не могут придумывать"? Конечно, могут. И давно. И рисовать, и музыку, и стихи, и нестандартные решения, которые человеку в голову бы не пришли. Вообще, ИИ очень недопонятая технология и не может 90% того, что ей приписывают. И может то, о чем не говорят, или думают, что не умеет. Например, "пустого' робота можно подвести к игровому автомату с Pacman и сказать "добейся максимального количества очков в этом окошке" и он сам поймет правила игры, научится играть и придумает стратегии, возможно, уникальные. Это уже есть сегодня. А вот научить его же одновременно отличать собак от кошек на фотографиях не получится - нужен еще один робот, у этого нейросеть забита Пэкменом. Ну или робот с двумя мозгами. И переносить опыт с фотогрфий на игру он не сможет.


И все это вопрос времени - и притом близкого

Edited at 2019-11-07 06:11 (UTC)

Ну, я немного пессимист тут (с оговорками). В отличие от, допустим, компьютерной графики, где прогресс ежегодный, ИИ развивается скачками. Мне кажется, следующие 5-10 лет будет ступор.
То есть для людей не в теме это будет выглядеть, как огромный прогресс. Подход Теслы, я уверен, заработает. Специализированный чип для одной сложной задачи с распознаванием видео в районе тысяч кадров в секунду - это гениально. И этот опыт будут реплицировать, безусловно. Например, на фабриках или в роботах или в тех же пассажирских дронах. Ну и, конечно, военка.

Кстати, я не представляю себе, как Россия тут сможет не отстать, без собственной разработки и производства сравнимых по сложности GPU / AI чипов. Тогда как специалистов в этой области нигде на территории бывшего СНГ не учат, а выучившиеся на западе непонятно, чем заманить. Тем более что нужны целые команды. И в условиях, что и софт и оборудование санкционные, много приходится заново создавать. Тут блоху не подковать, и с открытых источников не скачать. Иначе бы РФ уже давно освоили производство фотошаблонов меньше 28нм. Я не вижу вариантов, где РФ не отстает по интеллектуальному обеспечению своей военной техники от Японии, Европы и тем более США. Но это отступление.

Возвращаясь, прогресс в ближайшие годы будет "осваиванием" уже созданных алгоритмов.
Новые подходы появятся не раньше чем упрутся в ограничения новых, только что открывшихся, возможностей.
Поэтому пока что - сверхчеловеческие возможности для одной, узкой задачи - это все, что мы будем наблюдать. Но и это до фига )

Я согласен что будут прорывы в узких задачах прежде всего по экономическим мотивам -тут можно быстро прорваться с срубить денежек

А универсализм будет расти не прорывно но монотонно -будет расти. Причем по нескольким линиям сразу -ИМХО

Ха. Только что прочитал интересный white paper, слегка опровергающий мою гипотезу...

В общем, ребята интересно обучают нейросеть для много-задачного обучения (то есть, например, обучить робота нескольким задачам одновременно - скажем, водить и пилить). Обычно тренировали чтобы оптимизировать взвешенное среднее всех целей. Но если они конфликтуют, то получается чепуха.
А тут от нйросети добивались оптимальности по Парето

Вдруг кто захочет почитать, тут более-менее изложеена суть: https://papers.nips.cc/paper/7334-multi-task-learning-as-multi-objective-optimization.pdf

это не прорыв, конечно. Малюсенький кирпичик к прорыву.

ИИ как научная дисциплина исчепал себя в начале 1990-х. Как раз я в то время защитил докторскую диссертацию в этой области. Но ещё не осознавал, что эта наука достигла своего потолка. Лишь чисто интуитивно сменил своё научное направление. Осознание наступило в начале 2000-х.

Всё, что сейчас мы узнаём о достижениях ИИ из СМИ -- это развитие технологий, а не научной базы. Зачастую технологии не построены ни на чём, кроме эвристик. Их успешность зависит от таланта изобретателей.

Что касается процитированной статьи, она для меня выглядит как рассуждения дилитанта. Нужно быть учёным-социологом, чтобы разумно рассуждать на эту тему. Есть о чём.

Ну как... мы украли алгоритм у природы, причем без документации. Ну, группу алгоритмов. Да и украли не точно, переписали "по памяти", подсмотрев на салфетке.

И теперь просто пытаемся его осознать.

В этом плане кое-что интересное происходит, конечно. Тот же DeepDream, кроме визуальной кислоты, дает возможность анализировать кое-что в нейросетях, эффективно их сравнивать хотя бы. И, кстати, невероятно подтверждает общность алгоритма с работой мозга, т.к. под стимуляторами наш мозг аналогичные "графики" в визуальный кортекс выдает.

Или там, GAN (генеративно-состязательную сеть) вот реально придумали только в 2014м (идея витала с 60х, но два фантастических романа - не считается). И хотя это "просто две нейросети", там достаточно много нового с точки зрения фундаментальной теории.

Передо мной тоже стоял выбор в середине 90з - ИИ или не ИИ. И вот меня остановило именно что долгий путь осознания сути алгоритма, который придумали до нас. Вообще-то не жалею, хотя наблюдать за этим интересно.

А как они могут остановиться? Если какая-то страна, или компания не будет разрабатывать новое оружие, которое технологически возможно разработать, другая страна или компания его обязательно будет разрабатывать. Запретили (и правильно) клонирование людей. Но это ни разу не остановит Китай от работ по клонированию. Но если с клонировнием военное применение смутно видится, то с ИИ вариантов как-бы нет. Возможно, мы на полной скорости несемся в стену, но если мы остановимся, то стена упадет на нас сама, и вполне вероятно, что гораздо раньше.

  • 1