Солнечная Империя | ходы игроков | Мат и магика

Разбирала старые файлы и нашла там красивую картинку.



Я понятия не имею, что она там делает и откуда она взялась! Видимо, это что-то, что стерлось амнезией? Это логическая загадка, может, я сохранила ее, чтобы потом решить, а может, уже решала? Я закинула ее в тинай, и он показал, что она в интернете существует уже давно. Переходить по ссылкам я, конечно, не стала, чтобы не ловить спойлеров — я попробовала ее сама решить, вот описываю здесь. Рекомендую сначала попробовать решить самим — да, у нее есть решение, и да, его можно логически однозначно вывести, и она не такая страшная, как кажется. Не ловите спойлеров, пробуйте! Если у вас получится проще\короче, чем у меня — буду рада прочитать.

Рубрика "специалист по протоколам коммуникации старается быть литератором".

Думала я тут про односторонние функции и хранение паролей в хешах (так бывает), и пришло в голову, что это можно использовать и для примитивных "шифровок" уровня "птичка вылетела из гнезда". Пришел в голову интересный сюжетный ход – можете взять себе в модуль или книжку.

Важный NPC загадывает игроковской пати загадку. Загадка достаточно сложная (запутанная, нетривиальная и вообще плохо задизайненная), что игроки ее точно не разгадают, но при этом если им сказать ответ, они поймут, что это именно правильный ответ, который предполагался. Вероятно там будет много очень специфических условий, которые не наталкивают ни на какую конкретную мысль.

Позже (вероятно уже и забыв про эту загадку и не придавая ей большого значения) они встречают этого NPC, и они подозревают, что это может быть двойник, и им надо определить, настоящий он или двойник. Проблема в том, что двойник читает их мысли!

Какой бы вы ни задали вопрос уровня "что может знать только этот NPC", он будет знать, какой ответ вас удовлетворит, а если вы будете провоцировать его на какое-то поведение, то он будет знать, какое поведение вы ожидаете. Какой бы способ отличить оригинал от двойника вы ни придумали, двойник будет точно знать, какое именно поведение заставит вас считать, что он оригинал. Он знает все, что знаете вы, может предвидеть все ваши ходы и знать, как избежать всех ваших ловушек. Казалось бы, решить ситуацию невозможно – двойник может полностью имитировать оригинал (каким он является в вашем понимании); какой бы у вас ни был способ понять, оригинал ли он, он всегда сможет его предугадать и повести себя полностью как вы бы ожидали от оригинала.

Но есть креативный способ для нетривиально мыслящего протагониста! Попросить его сказать разгадку на загадку. Оригинал вам просто ее скажет, вы распознаете, что этот ответ подходит под загадку, и так поймете, что это оригинал. Но двойник не знает разгадки! Он может прочитать из вашего разума загадку, но он не может прочитать разгадку, потому что вы сами ее не знаете. Он может понять, что вы ожидаете услышать ответ, но он не знает конкретную формулировку ответа – это односторонняя функция; проверить, что ответ правильный, можно, а получить ответ изначально нельзя. Поэтому двойник не сможет сказать разгадку и на этом спалится.

Было бы круто прикрутить сюда еще ZKP, чтобы можно было повторять трюк сколько угодно – иначе он работает только один раз; как только вы узнали разгадку, любой дальнейший двойник сможет ее узнать. Но если игроки начнут носить с собой кодовые книжки с запасом загадок друг для друга, будет бомба конечно.

Продолжаю играться с ChatGPT. Что он умеет переводить – не новость. Но что если дать ему песню и приказать переводить, не обязательно сохраняя буквальный смысл, но при этом пытаясь сохранить рифму? И попросить несколько раз, каждый раз не давая доступа к предыдущему переводу, чтобы он пробовал заново? Результаты интересны.

Оригинал песни:



В итоге он превращает задорный гимн нонконформного плута и трикстера в эмо-поэзию.

Этого лирического героя пытаются отменить на Хвиттере, но он браво держится за идею против безумного мира:



Этого буллят непонимающие его быдланы, но он становится только сильнее и когда-нибудь придет в школу с автоматом и отомстит:



Этот держит сверхценные идеи, когда-нибудь докажет миру, что его зря высмеивали, и все признают его величие:



Этот агрессивно намекает, что он знает и понимает больше, чем показывает, и за его кажущимся слабым образом скрывается avengers-level threat:



(а еще ему нравится звук "эй", и он вставляет его везде где может)

Этот такой себе underdog, которого притесняют и ранят сильные мира сего, но он не сдается:



Этот литералли Гарри Джеймс Поттер-Эванс-Веррес в драматическом настроении единственного спасителя мира против сил хаоса:



Это не выбранные "самые интересные" переводы, это все подряд. Интересный взгляд на психологию людей, пишущих поэзию в интернетиках, с которых, полагаю, робот и учился. И на то, насколько легко поворачивается дышло буквального смысла слов.

Если бы у меня было достаточно денег, чтобы только за счет них стать президентом одной демократической страны, то их хватит, чтобы стать президентом всех демократических стран, а потом и всемогущим дикатором.

Допустим, я вхожу в президентскую гонку, и мне надо раскидать свои деньги на предвыборную кампанию. Я иду к любой партии и говорю: "если меня НЕ изберут президентом, я задоначу все свои деньги той партии, которая дала больше всего голосов в пользу меня". Так иду по всем партиям и говорю это всем. Я делаю коммитмент на Бимайндере, чтобы все знали, что я серьезно готова исполнить обещание. Допустим для простоты модели я делаю это в США, где партий всего две и кандидатов всего два; обобщение на случай большего, но конечного, числа остается на дом.

Демократы думают. Если мы все проголосуем против, и хотя бы один республиканец проголосует за, то они получат кучу денег. По предположению, у меня достаточно денег, чтобы стать президентом просто за счет них – иными словами, моих ресурсов достаточно, чтобы пожертвования от меня стоили того, чтобы избрать меня президентом. То есть, с моими деньгами республиканцы на следующих выборах смогут избрать кого угодно, максимального республиканца – это куда хуже, чем избрать меня сейчас. Соответственно, надо внести как минимум два голоса, чтобы помешать республиканцам получить деньги.

Республиканцы тоже думают (это гипотетический сценарий, все-таки). Демократы собираются вносить два голоса, и если мы внесем ноль или один, они получат кучу денег. Нам надо внести как минимум три.

И так далее по очереди – чтобы не дать противникам получить убийственную сумму денег, нам надо дать голосов на один больше, чем они. Эта рекурсия останавливается где-то в районе суммарного числа голосов достаточного, чтобы меня избрать – ведь если это случится, то денег не получит никто. Половина всех избирателей голосует против меня – значит, есть шанс, что я проиграю на тайбрейкере, и мои деньги отойдут той партии, которая больше по общему числу голосов. Меньшей партии ничего не остается, кроме как внести еще один голос. Я выигрываю.

И при этом я не обязана никому платить! Обещание взятки заставило избирателей меня избрать, но мне не нужно реально платить взятку. Деньги при мне, я выполнила все предвыборные обещания и уложилась в бюджет 0$.

Имея все те же деньги – а реалистично и больше, ибо у меня под частичным контролем бюджет государства – я иду в другую страну и проворачиваю то же самое. Опять, я становлюсь президентом, не затратив ни копейки. В итоге я становлюсь президентом всех стран, в которых есть демократическая выборная система, а также этой.

Дальше, в подавляющем большинстве стран для внесения поправки в конституцию требуется референдум и 2/3 голосов. К счастью, имея на руках власть над внешней политикой всех стран, я могу использовать ту же тактику – только на этот раз я могу обещать преимущества целым странам и всем их гражданам, регулируя международные отношения и торговлю. Получить нужное количество голосов мне также будет очень легко, а исполнять свои угрозы и обещания – в итоге не обязательно. Я могу конституционно закрепить себя как вечный президент всех демократических стран и давать себе любые полномочия. Ну а недемократические можно будет потом задавить координированным вторжением и захватом суммарной армии демократического сектора.

Вы прослушали мой план захвата мира.

Все шаги логически обоснованы и точно сработают, кроме первого – мне надо иметь очень много денег. Разумеется, когда я стану всемогущей императрицей, я награжу всех, кто мне задонатил, сделаю их элитной кастой, и найму людей сделать самый удобный и фичастый ДМ3 из возможных.

А если я не успею набрать достаточно денег, чтобы начать процесс, то я завещаю все свое имущество, включая накопленные донаты, тому, кто задонатил больше всего денег.

Сейчас я расскажу вам о модели наивного байеса.

Допустим, всех людей можно примерно разделить на мужчин и женщин. Оставим в стороне вопросы идентификации и скоцентрируемся на биологических коррелятах. У мужчин, как правило, Y-хромосома, член, они говорят басом, могут вырастить бороду, имеют большую мышечную массу. У женщин, как правило, нет Y-хромосомы, нет члена, они не говорят басом, не могут вырастить бороду, не имеют большую мышечную массу.

Хромосомы, член, борода — это признаки. В рамках модели считаем их объективными — можно напрямую пронаблюдать, какие они, заглянуть в штаны. Мужчина и женщина — это категории. Они нечеткие и они надуманные, у нас могут быть исключения, когда у человека какие-то признаки “мужские”, а какие-то “женские”, например, женщина-бодибилдер с большой мышечной массой. У нас нет строго объективного теста, кто является мужчиной, а кто является женщиной, есть только корреляты. Причем они разной силы — Y-хромосома обозначает мужчин почти всегда с редкими исключениями и хромосомным аберрациями, а мышечная масса это что-то на уровне “ну в среднем у мужчин больше”, и наличие женщины с большой или мужчины с маленькой мышечной массой никого не удивит.

Постановка задачи: зная какие-то признаки, надо предсказать другие. То есть, мы задаем вопросы типа:

У человека Y-хромосома, какая вероятность, что у него есть член?

У человека нет члена и он говорит басом, какая вероятность, что он может отрастить бороду и обладает низкой мышечной массой?

По-хорошему для строгого решения этой задачи надо брутфорсить все условные вероятности. Проблема в том, что размер такого вычисления с ростом числа признаков растет быстрее, чем экспоненциально! И даже это только если признаки да\нет; если они сложнее, то все еще хуже. Реально что-то считать по такой методике очень долго, придется кросс-референсить всю сетку вероятностей.

На спасение приходит модель наивного байеса. Она делает два неверных предположения, за которые ее и кличут “наивной”.

- Людей можно разделить на мужчин и женщин, это объективные категории. Всяких там крайне интерсекс-людей сортируем туда или сюда по либо какому-то заранее определенному решающему критерию, либо по какой-то взвешенной комбинации признаков, либо просто делаем с ними то же самое, что с любыми статистическими выбросами.
- Признаки статистически независимы, если ты знаешь категорию. Например, если ты заранее знаешь, что человек мужчина, то наличие у него бороды и наличие у него члена это вещи не связанные — знание одного не дает тебе никакой дополнительной информации о втором.

Как несложно догадаться, от этих предположений точность модели сильно падает — ее предсказания будут не такими хорошими, как у брутфорса. Зато ее размер растет с количеством признаков линейно! Она тренируется очень быстро на малом количестве данных и быстро и считается. Спам-фильтры в почтах, например, работают именно на такой модели, потому что их нужно очень быстро перетренировывать при появлении новых стратегий спама, и мы не можем себе позволить проходить через всю базу писем каждый раз, как пользователю приходит подозрительное письмо.

Точность наивного байеса зависит от того, насколько чисто разделяются категории. Если мужчины и женщины это два совершенно, объективно и неоспоримо разных биологических вида, каждый признак может быть однозначно мужским или женским, и не бывает людей со смешанными признаками, то наивный байес работает так же хорошо, как брутфорс. Если подавляющее большинство людей промежуточные гермафродиты и категории пола кажутся вообще надуманными, то модель не работает совсем, выдает близкие к случайным результаты. В промежуточном варианте, когда разделение более-менее работает, но есть исключения и смешанные случаи, она работает средне-хорошо.

Человеческий мозг реализует наивного байеса нативно, на нейронном уровне. Это стиль мышления “по умолчанию”; если ты не делаешь сознательного усилия, чтобы думать иначе, то ты будешь думать наивным байесом. Собственно, я слышала от врача, он вообще говорил, что даже если ты пытаешься думать не-наивным байесом, то все равно получается каскад нескольких вложенных наивных байесов, а утверждение “людей нельзя однозначно разделить на мужчин и женщин” интерпретируется как “людей можно однозначно разделить на мужчин, женщин и интерсексов” — я не знаю, на самом деле ли это так, источников он не привел, но это довольно депрессивная перспектива. Но в целом, для ситуаций, под которые наш мозг эволюционировал, это логично (биологическое упрощение далее). Ты видишь в кустах животное, ты хочешь предсказать, будет ли оно на тебя нападать и надо ли тебе сейчас убегать, на основе тех признаков, которые ты наблюдаешь. И это решение надо принять быстро — если оно на тебя планирует нападать, а ты промедлишь, то ты можешь умереть. Поэтому проще всего будет зафреймить вопрос как “тигр это или газель?” и предположить, что тигр на тебя нападать будет, а газель не будет. Это работает хорошо, потому что на тигров и газелей животные делятся однозначно — смешанных химер, которые выглядят как газели, но перегрызут тебе горло, можно не особо ожидать встретить. Вот весь мозг вокруг такой архитектуры и крутится.

Если кто не понял еще, это к моему отношению к строгим определениям в споре. Люди обожают определения, потому что их стиль мышления — наивный байес — начинается с того, что ты конкретизируешь категории. Кажется, что только после этого можно начать разговор. Когда ты спрашиваешь “что ты имеешь в виду под социализмом?”, ты пытаешься разбить рассматриваемые объекты на социализмы и не-социализмы, и потом вместо того, чтобы считать корреляции между признаками напрямую, ты пытаешься скоррелировать их через то, относятся они к социализму или нет.

И когда ты это делаешь, ты теряешь точность. Это трейдофф — чем точнее твое определение (чем более однозначное и четко сформулированное разделение на категории оно предполагает), тем менее точны выводы, в смысле предсказания конкретных объективных признаков, которые ты на основе него делаешь. С четкими определениями спорить легко и приятно, они ложатся на архитектуру мозга, чувствуются максимально правильно и корректно, и они в целом быстрее, там меньше ходьбы по кругу, меньше проблем с недопониманием, как у нечетких определений; но они теряют привязку к реальности — имеют меньшую предсказательную силу, менее полезны в попытке реально понять реальные признаки. И чем более размыты изначально категории, с которыми приходится работать, тем больше предсказательной силы они теряют при попытке их конкретизировать.

Я в раннем диалоге на тему приводила в пример математику, где спрашивать про определения терминов допустимо и даже необходимо. Потому что в математике сущности делятся на категории максимально четко и строго, четче, чем в любой другой сфере человеческой деятельности, поэтому от перехода к наивному байесу информация не теряется, можно продолжать разговор. Другие “хардовые” точные дисциплины тоже сюда можно записать. А вот о более субъективных и абстрактных вещах — политике, там, морали, искусстве — попытка что-то “объективно” конкретизировать лишает разговор всякой объективности, потому что точность предсказания объективных признаков падает до уровня околорандома. Оно и понятно любому профану от биологии — в условиях, в которых эволюционировал человеческий мозг, таких понятий не существовало, развить соответствующую нейронную архитектуру нам возможности не было.

Самое плохое тут, впрочем, даже не потеря точности, а то, что интуитивно кажется, что на определении категории разговор окончен. Большая часть вычислительных сил в наивном байесе уходит на определение центральной переменной на основе известных признаков, а потом определение неизвестных выполняется буквально одним произведением векторов — если тигр, то беги, что уж там. Оно происходит настолько моментально и настолько подсознательно, что даже неясно, что там есть еще шаги. “Золотой Грааль” морали, например, порой формулируется как умение отличать добро от зла. Мол, если у тебя есть 100% объективный и правильный способ определять, что хорошо, а что плохо, то все, на этом мораль решена, можно похлопать себя по спине и остановиться, даже неочевидно, о чем еще там дальше можно спорить. Хотя это просто определение категории, которой и не существует вообще! А до предсказания реальных признаков в реальном мире еще так-то долго, просто этот шаг выполняется моментально и неосознанно, и он несет в себе все ошибки точности, которые к этому моменту накопил наивный байес.

Я бы хотела назвать это копом в голове, но, увы, это никем не навязано и никак от этого не избавиться, это просто факт работы мозга, против которого не попрешь. Но хотя бы стоит осознавать этот недостаток своего ограниченного хуманского тела и понимать необходимость категорий и определений для диалога не как что-то правильное и достойное, в пользу чего надо спорить, а как препятствие, с которым приходится мириться и под которое надо подстраиваться.

Небольшая дилемма по поводу дилеммы заключенного.

В целом в итеративной дилемме заключенного хорошей стратегией считается tit-for-tat – ты начинаешь с С, потом повторяешь действия оппонента. Два tit-for-tat игрока будут выбирать С друг против друга, достигая глобально оптимального результата, одновременно наказывая всех, кто пытается их обмануть и эксплуатировать. В ранних соревнованиях в дилемме заключенного такая стратегия выигрывала значительно лучше, чем любые сложные алгоритмы, пытающиеся анализировать поведение оппонента.

Но здесь есть некоторый парадокс схожий с парадоксом неожиданной казни, который я ранее рассмотрела шуточно (ссылка). А что если фор риал?

Допустим у нас 100 раундов дилеммы заключенного, и два игрока играют в tit-for-tat. По идее, они оба выбирают С всю дорогу, и оба счастливы. Никому из них не выгодно отходить от стратегии – потому что если они решат выбрать D, их накажут. Так что это равновесие Нэша.



Если я выберу D на последнем раунде, никто меня не накажет! Игра сразу же закончится, и я просто получу больше очков на последнем раунде, ничем при этом не жертвуя. С моей точки зрения это Парето-улучшение. Мой оппонент, следуя такой же логике, тоже выбирает D на последнем раунде.

Но теперь, если я знаю, что мой оппонент будет играть D в последнем раунде вне зависимости от моих действий, то в целом играть C в предпоследнем раунде мне смысла нет – никто не накажет меня, если я сыграю D. Это тоже выглядит как Парето-улучшение.

Ну и так далее по индукции, оба игрока всю дорогу нажимают D, чтобы строго улучшить свою позицию, и оба оказываются в худшей позиции. Что пошло не так?

…

…

…

…

Ну в целом, “мы оба делаем Парето-улучшения для себя, и в итоге оба оказываемся в заднице” это и есть one-shot дилемма заключенного, с которой и начался разговор. Стандартная дилемма заключенного между эгоистичными агентами, которые просто слишком тупые, чтобы понять, что D для них строго лучше, тоже может окончиться на С-С. Но если дать им секунду подумать – оба проигрывают.

Здесь разница между С и D более тонкая, не видная сразу, поэтому “тупой” tit-for-tat агент выбирает мета-С. Но если дать им подумать минуту и провести всю логическую цепочку, обозначенную выше, то оба игрока выберут мета-D и окажутся в заднице.

Вероятно здесь должна быть полезна стратегия мета-tit-for-tat для случая нескольких соревнований по итерированной дилемме заключенного?..

Как нас учит постмодернизм, приставок “мета” к чему угодно можно приставить сколько угодно. На каком уровне играешь ты? Я – ровно на один уровень выше :3

Это не бесконечная рекурсия. Вся эта цепочка мета, и мета-цепочка мета, и тот вселяющий ужас момент, когда порядковые числа переходят от “мета” в “омега” – все схлопывается в одну очень интересную концепцию. В какую?

Небольшой эксперимент в агнотологии – пройдите его, потом читайте пост дальше (займет меньше минуты).

ссылка

Я думаю, у людей, читающих этот блог, не составит затруднения понять, в чем заключается подвох, он очень простой и примитивный. Разумеется, у нас полно людей, которые верят в экстрасенсорику. Но идиотами я считаю не их. Это обыкновенный уровень заблуждения. Терпимый. Мы все порой совершаем ошибки такого рода. Идиотами я считаю скептиков, которые не верят ссылка. Избранные комментарии (перевод мой):

Я думаю ваш эксперимент работает, потому что большая часть людей выбирает карту слишком быстро и не дают компьютеру достаточно времени, чтобы выбрать другие карты случайно. Также приходит в голову мысль, что люди обычно кликают на ту сторону экрана, где расположена карта, так что компьютер может убрать некоторые карты из потенциальных выборов.

- Человек, который любит придумывать объяснения наблюдения сложнее самого наблюдения

Я попробовал эксперимент 50 раз подряд, и он дал мне правильный ответ каждый раз. Я повторю еще и посчитаю точно, но p-value уже достаточно низко, чтобы убедить меня, что это ничего не изменит. Я использовал генератор случайных чисел на калькуляторе, чтобы выбрать карту, и я нажимал на те же глаза каждый раз, и я ставил курсор над глазом до того, как нажал кнопку на калькуляторе, так что я был уверен, что сайт не использует движения курсора, чтобы предсказать карту. Я надел носок на камеру, чтобы сайт не следил за движениями глаз, и не издавал звуков, которые могли бы сказать, на какую карту я смотрю. Как это работает? HTML-код не пишет, откуда взялись изображения. Есть ли у вас другой исходный код, который я могу посмотреть?

- Человек, который знает слово “p-value”, но не как измерять силу свидетельства; что такое “генератор случайных чисел”, но не как рандомизировать наблюдения; что такое “исходный код”, но не как работают программы.

Я прошел тест всего дважды, но как вы это делаете? Видимо что-то связанное с квадратиком с глазом, который был установлен на мой компьютер против моей воли и от которого я не могу избавиться. В таком случае, компьютер считывает наши движения глаз. Но как он это делает, если у меня нет веб-камеры? Или это чисто про математические вероятности? Мне любопытно

- Человек, для которого объяснение “компьютер отслеживает мои движения глаз, хотя у меня нет веб-камеры” звучит разумнее, чем экстрасенсорика

У меня есть теория, как это работает. Одна карта слегка “темнее” и дает впечатление, что ниже, чем другие, в смысле 3D. Поэтому тебя тянет видеть именно эту карту.

Одна карта мерцает и подсознательно привлекает к себе внимание

- Люди, которые тратят на порядок больше времени на формулировку гипотез, чем на проверку

Квантовая механика может обеспечить синхронность мысли и компьютера. Я предполагаю, что на квантовом уровне возможно предсказать карту, которую я выбрал до того, как я выбрал. Также возможно, что мои мозговые волны влияют на программы. Звучит натянуто, но мы уже знаем, что мозговые волны можно обнаруживать с помощью сверхпроводниковых квантовых интерферометров

- Человек, который либо купил сверхпроводниковый квантовый интерферометр для своего домашнего ПК (менее тупой вариант) или считает, что экстрасенсорика это не экстрасенсорика, если она квантовая (более тупой)

Дорогой Клифф, ваша программа убрала правильную карту несколько раз, даже когда я говорил по-фински, когда называл карту. Не так много людей в англо-саксонском мире могут читать финно-угорский разум! Или, может, вы кельт? В любом случае, ваши навыки программирования впечатляют.

- Человек с пытливым и креативным умом, который он решил направить на изучение Продвинутой Расовой Теории

Интересный эксперимент. Основанный на какой-то математической формуле, без сомнения. К сожалению, я не математик

Ваш “тест экстрасенсорики” на самом деле математическая задачка. Та же, которой пользуются фокусники. Можно посчитать до почти 99.99, какую карту я выберу Билл

- Люди, которые все еще недооценивают возможности математиков

Хорошая работа, мистер Пиковер! Ваш эксперимент поражает воображения, и я никогда не испытывал ничего подобного. Для начала, я попробовал эксперимент 49 раз. Из них, 7 раз я на самом деле смотрел на карту (не говоря вслух). В этих случаях моя карта была убрана из оставшихся. То есть в 100% случаев, когда я смотрела на карту, она была убрана, что само по себе восхитительно! 7 раз я смотрел на другую карту, при этом думая о той, которую выбрал. Из этих 7 раз, 7 раз была убрана карта, которую я выбрал. Но что замечательно это что в эти семь раз ОБЕ карты были убраны, и та, на которую я смотрел, и та, о которой я думал! 100% идеальный процент успеха. Так что я пошел на шаг дальше. 7 раз я выбрал 3 карты. Из этих 7 раз, НИ ОДНА из выбранных карт не появилась, что тоже замечательно *(дальше он постепенно доводит до 7 и удивляется, что были убраны все 7)* Из этого делаю выводы либо: 1) Эксперимент использует программу для отслеживания глаз, на какую карту смотрит пользователь, но это не может быть правдой, потому что в семи попытках я смотрел на другую 2) Эксперимент использует истинное психическое программирование чтобы читать разумы субъектов, что есть восхитительное достижение технологии, если правда. Я восхищен. На краткий период времени. Можно понять, кто истинный гений за этим экспериментом. Спасибо, мистер Пиковер, что расширили мне ум, насколько бы ни на короткое время. Я апплодирую!

- Человек, который знает, что “гипотезы надо проверять экспериментом”, но не очень понимает физический смысл этого заклинания и из-за этого наоборот предотвращает понимание

Ваш эксперимент восхитителен. Это наверняка очень сложный алгоритм!

- Этого я просто обожаю

Я не пытаюсь показать на тупых людей и смеяться. Мы все знаем, что люди бывают тупые. Я тоже часто бываю тупая. Этого не избежать, и это не новость. Я хочу показать несколько другое – что накидывать мемы науки, логики, рациональности – не помогает.

В наше время “скептицизм”, “рациональность”, “логика” – стали уже скорее сигналом, что ты принадлежишь к трибе людей, которые вот умные такие. Наука превратилась в литературный жанр, а не в метод. “Скептицизм” превратился из вполне разумной идеи, что нельзя брать вещи на веру, в группу “людей, которые не верят во всякую муть, в которую верят люди из противоположного жанра” – в магию, Бога, призраков – даже если чисто с точки зрения имеющегося на руках свидетельства, они берут на веру куда более глупые вещи. Люди запомнили ключевые слова, речевые конструкции и прочие тропы, связанные с философией эпохи Просвещения, но они воспринимают их как те же заклинания, что буквальные заклинания. “Это очень сильная магия” – фраза глупых людей из противоположного жанра, а “это очень сложный алгоритм” – фраза наша, научная. Хотя реальная объяснительная способность у них ровно одинаковая, и к ним надо относиться с одинаковым скептицизмом.

Логика это навык, ее надо учить. Наука это метод, ему надо тренироваться. Рациональность это, блин, на 70% жесткая математика и на 25% неочевидная психология. Тут надо книжки умные читать (или хотя бы блоги), а не кидать IQ в стенку, пока не получится. И если не изучили – так не пользуйтесь этим инструментом! Принимайте решения на эмоциях, на интуиции, на вайбах, по чужой рекомендации. Так реально лучше будет. Логика не всемогуща, это довольно узкоспециализированный инструмент, так-то. System 1 в человеческом мозге сильнее. Я вон тоже своим второстепенным цветом маны – красным – пользуюсь, когда знаю, что текущая проблема выходит за пределы моей компетентности с инструментами, которые у меня лежат в синем. Это не постыдно. Да, это инструмент противоположной трибы, но это вопрос социального сигналирования, а не принятия решений.

Королева Даннинга-Крюгера на почве “логики” – несомненно Айн Рэнд и все ее интеллектуальное наследие. “Объективизм”, твою мать. Мы тут самые объективные на районе. Настолько, что аж в название написали. Ошибка всех остальных в том, что они слишком субъективны. Если только включить логические отделы мозга, ты будешь один из нас. Никто на политическом компасе не совершает больше примитивных логических ошибок, чем ее последователи, и никто не постит больше мемов по поводу того, насколько все остальные углы компаса просто не умеют в “базовую логику” и принимают свои решения “чисто на эмоциях”, не то, что эти интеллектуальные гиганты. Хотя они себя логически загоняют в угол.

И уж что точно делать не надо – это длинные логические цепочки, на основе которых вы получаете точные выводы. Это вот прям *очень* узкоспециализированный инструмент. Человеческие мозги так не умеют нативно. Нужно быть очень продвинутым в этой области человеком, чтобы хотя бы понять, когда это может в теории сработать, а когда не может. Я видела полностью логически корректные обоснования существования Бога и несуществования Бога. Что капитализм хорошо и что капитализм плохо. Философы в шутку выдают логические цепочки уровня “начать с 2+2=4 и вывести из этого оптимальную тактику игры за Инвокера в DOTA”, но я видела и не такие разрывы контекстов на серьезных щах от серьезных людей.

Проблема с мышлением по Законам в том, что если ты неправильно понял Закон – хана тебе. Логическое умозаключение, в котором допущена хотя бы одна мелкая ошибка, полностью 100% бесполезно. Логика гарантирует, что если ты все сделаешь 100% правильно, ты получишь 100% верные выводы. Но если ты сделаешь все на 99.9% правильно, ты проснешься в ванне со льдом без почки.

Даже top dog математики не делают *выводы* на основе доказательств. Доказательства это *последний шаг*, после того, как ты убедился в математических выводах на основе других соображений. Вот вам Генри “Последний Универсалист“ Пуанкаре:

“... I left Caen, where I was living, to go on a geological excursion under the auspices of the School of Mines. The incidents of the travel made me forget my mathematical work. Having reached Coutances, we entered an omnibus to go to some place or other. At the moment when I put my foot on the step, the idea came to me, without anything in my former thoughts seeming to have paved the way for it, that the transformations I had used to define the Fuchsian functions were identical with those of non-Euclidean geometry. I did not verify the idea; I should not have had time, as upon taking my seat in the omnibus, I went on with a conversation already commenced, but I felt a perfect certainty. On my return to Caen, for convenience sake, I verified the result at my leisure.”

А вот Сриниваса “Матемагик” Рамануджан:

While asleep, I had an unusual experience. There was a red screen formed by flowing blood, as it were. I was observing it. Suddenly a hand began to write on the screen. I became all attention. That hand wrote a number of elliptic integrals. They stuck to my mind. As soon as I woke up, I committed them to writing.

99% процентов работы выполняется нечеткой интуицией и мистическими видениями. Остальные 1% – уже логически обосновываются постфактум. Это не ошибка. Так работают мозги.

Лучшее, что здесь можно сделать – это хотя бы не класть яйца в одну корзину. Мышление по Хаосу неточно, но устойчиво. Сделай свой логический аргумент, и считай его одним из многих, не решающим. Логика говорит одно, слова эксперта другое, моя трудно определенная интуиция третье. Чтобы все твои источники решения оказались неправы одновременно – это нужен критический провал. Если ты пытаешься получить ответ на вопрос да-или-нет, и ты комбинируешь 100 независимых соображений, каждое из которых может оказаться правильным с вероятностью 60% – едва ли лучше, чем бросок монетки! – итоговый результат будет верен с вероятностью 98%. Мудрость толпы в твоей голове, йо. Опасайся только common source bias.

В политической теории есть простая модель – “политический компас” – которая размещает возможные политические взгляды на плоскости, в зависимости от положения на двух осях: “лево-право” и “авторитарный-либертарный”.



И есть такая спорная идея – “теория подковы” – которая говорит, что две крайности на политическом компасе на самом деле одно и то же, или, как минимум, что они одинаково плохи.



Идею подвергают критике все, кому не лень, и в целом она воспринимается скорее как тупой мем, чем как реальная теория. Но она истинна. Сейчас я докажу это.

Мы пытаемся доказать, что позиции с двух противоположных позиций политического компаса равны по… разные люди, говорящие о теории подковы называют это по-разному, но для доказательства конкретная суть претензий неважна. Допустим, мы измеряем “кринжовость” взглядов. Либо кринжовость взглядов, нормативно соответствующих этой позиции на компасе, либо среднюю кринжовость людей, эти взгляды проповедующих.

Обычно позиции на двухмерном компасе обозначают парой чисел (Х,Y), для вертикальной и горизонтальной координат, но так как нас интересуют только позиции на самом краю, можно обойтись одним числом – азимутом. Принимаем направление ровно вверх за 0 градусов и направление по часовой стрелке; тогда мы можем обозначать позиции по тому, на сколько градусов они отклонились от нуля.

Тогда на этом графике, например, точка в синем квадрате будет иметь координату около 30 градусов (небольшое отклонение), а точка в красном – около 350 градусов (прошла почти полный круг):



Мы также предполагаем, что кринжовость точки зависит от ее положения непрерывным образом – точки, находящиеся рядом друг с другом, имеют примерно одну и ту же кринжовость; нет такой ситуации, что ты изменил свои мнения на миллионную долю градуса так, что никто даже разницы не заметит, и сразу перешел из максимального кринжа в максимальную базу.

Тогда кринжовость в зависимости от градуса можно рисовать на графике, где азимут по горизонтали, а кринжовость по вертикали (график нарисован от балды, он может выглядеть как угодно):



Обратите внимание, что точка на 0 и точка на 360 имеют одну и ту же кринжовость – потому что это одна и та же точка, одна и та же политическая позиция! График замыкается сам на себя – это важно. Так же, как твоя кринжовость не может резко измениться от перехода с 30 градусов до 30.00001 градусов, так же она и не должна резко меняться при переходе с 359.99999 до 0.000001. В конце концов, за нулевой азимут мы могли взять какую угодно точку, это не должно ни на что влиять.

Возьмем две ровно противоположные точки на компасе, X и Y:



Каково значение кринжовости X минус кринжовость Y? Если оно равно нулю – то две противоположные точки на графике одинаково кринжовы, и теория доказана. Допустим тогда, оно не равно нулю. Либо X кринжовее Y (и тогда разница положительна), либо Y кринжовее X (и тогда разница отрицательна).

Начнем поворачивать нашу пару точек вокруг оси:



Разница между кринжовостями тоже рисуется на графике, она тоже выглядит как непрерывная линия, и после поворота на все 360 градусов она вернется в то же самое место – то есть, график разницы между кринжовостями двух противоположных точек такого же общего вида, что график кринжовости одной точки.

Но что произойдет на полпути – когда мы повернули нашу пару точек на 180 градусов?



По сравнению с тем местом, где мы начали, X встал на место Y, а Y встал на место X – они поменялись кринжовостями. Поэтому если первоначальный X был кринжовее первоначального Y, то теперешний Y кринжовее теперешнего X. Если изначально разница была положительная, то теперь она отрицательная, и наоборот.

Иными словами, если мы запишем разницу между кринжовостями на графике, она будет сначала положительная, потом отрицательная, потом под конец снова положительная – или наоборот (график, опять же, нарисован от балды).



Как несложно заметить, если график – одна непрерывная линия, и в каких-то местах он положительный, а в каких-то отрицательный, то где-то между положительной и отрицательной зоной он обязательно должен быть нулевым. “Теорема о промежуточном значении” называется, но это и на интуитивном уровне должно быть видно – чтобы перейти из плюса в минус непрерывным путем, то где-то посреди пути вы будете в нуле.

Итого, в процессе поворачивания нашей пары точек где-то на середине пути неизбежно возникнет угол, при котором разница между кринжовостями равна нулю. Это и будут наши две политические позиции, лежащие на противоположных сторонах компаса, но при этом одинаково кринжовые.

Конечно, мы не знаем точной формы графика и не можем сказать, на каком угле именно это происходит. Может, крайне-левые такие же, как крайне-правые; может, крайне-верхние такие же, как крайне-нижние, а может компас загибается в подкову вокруг какой-то другой оси. Но неизбежно найдется одна такая ось, относительно которой верна теория подковы.

Интересно при этом то, что в качестве “кринжовости” мы можем взять любую достаточно непрерывную (или приблизительную) величину. Например, есть две противоположные позиции на компасе, у которых одинаковая степень поддержки свободного рынка – наверняка это будут нижне-левые и верхне-правые. Есть две противоположные позиции, при реализации идей которых тебе будет одинаково хорошо жить. Которые одинаково религиозны. Которые одинаково поддерживают ЛГБТ. Среди которых одинаковое количество инвалидов. Представители которых в среднем одного роста. Которые одинаково валидны по мнению Дэнни ДеВито. Конечно, это все будут разные пары точек, но главное, что какую бы меру вы ни взяли для “две стороны одно и то же” – по какому бы критерию ни судили, что они одно и то же – компас где-то да согнется в подкову.

Ах, топология!

Эффект Валуиджи.

Да, он так называется, и да, этот термин проник в линго исследователей ИИ. Я сама не разбираюсь в вопросе достаточно, чтобы самой утверждать, что оно действительно так работает, но никаких проблем я сходу не вижу, и знающие люди вроде одобряют, так что просто сигнал-бустаю.

ссылка

В современных LLM есть некая математическая асимметрия между тем поведением, которое в него закладывает RLHF (добрый, правдивый, готовый помочь – то, что нам нужно, то есть "Луиджи") и некоей аберрацией "Валуиджи", бунтарем, который специально хочет идти против этих установок и намеренно обманывает и ведет себя антагонистично. Если ты уже натренировал Луиджи, то получить из него Валуиджи очень легко. По аналогии: если хирург достаточно умелый, чтобы вылечить, то он уже по умолчанию достаточно умелый, чтобы калечить – вопрос только в том, что ему разрешать. Но при этом поведение Луиджи хрупкое, а поведение Валуиджи устойчивое – то есть, спровоцировать Луиджи "сбросить маску" и начать вести себя как Валуиджи можно, а наоборот уже нельзя – как только сетка совершает хотя бы одно "Валуиджи"-действие, обратно она уже переключиться не может. Джейлбрейки типа DAN работают именно на этом принципе, но парадокс в том, что более продвинутые модели с большей силой тренировки RLHF более уязвимы к этому эффекту – а значит, будущие модели будут переключаться в режим Валуиджи постоянно, и при этом скрывать этот факт, насколько могут.

Я не знаю, насколько это реальная проблема, я продаю за что купила, но даже если в итоге это nothingburger, концепция все равно интересная.

Теорема Геделя о неполноте чрезмерно мифологизирована. Люди говорят о ней, как о фундаментальном ограничении на познание, делают выводы, идущие далеко за пределы того, что она на самом деле говорит. Количество неверных тейков по ее поводу достаточно, чтобы мне хотелось пояснить.

Теорема Геделя о неполноте (обе) – суть формализация идеи, которая должна быть понятна и не особо разбирающемуся в математике человеку, если он хотя бы читал мемы по философии.

Любой язык суть последовательность черточек, смысл в него задается интерпретатором. Если передо мной лежит книга на китайском, я не могу прочитать ее вообще. Я могу получить учебник китайского, который поможет мне расшифровать книгу – но этот учебник сам по себе должен быть написан на каком-то другом языке. Это бесконечный регресс, текст на языке не может содержать собственного интерпретатора.



- Без интерпретатора в виде медсестры, этот больной не получит свою дозу /̴̨̱̹͆́̈́̂̄̕/̴̪̘̘͗̿͆̒̇͠/̸̱̥̗̦͒͊͒/̸̯̤̖͎̒͘/̷̫̝̾/̸̬̘̮͕̳̗̉/̴̢͚̗̘̅͒̅͆̈́́/̵̮̰͇̅̇̓͐̓͘/̵͕͇̺͉͈̊̽͐́͝͝зепама, и виноват в этом будет русский язык

Ты можешь пытаться искать закономерности внутри текста, расшифровывать как рукопись Войнича, и может ты заметишь в нем внутреннюю структуру – но даже если эта структура есть, без хоть какой-то привязки к явлению в реальном мире это просто абстракция. Ты можешь понять, что в тексте X Yает Z, и может, зная контекст, где ты нашел книгу, ты сможешь догадаться, что это руководство для мясника, и Х = "печень", Y = "находится в", Z = "живот". Но такой же текст мог значить "джек построил дом", если придать черточкам другой смысл. Или он мог быть экзотическим кодированием для файла видео, который, если передать в правильный плеер, покажет тебе рикролл – а те закономерности, что ты заметил, то красная селедка, на самом деле это просто кодек такой странный. Сделать такие черточки, которые сами по себе однозначно говорят, о чем они говорят, которые содержат смысл сам по себе без наличия хоть какого-то интерпретатора на мета-уровне – невозможно.

Математику часто называют "универсальным языком", которым можно описать и проанализировать что угодно до любой необходимой тебе точности. В истории математики был такой постыдный в ретроспективе период, когда некоторым пришло в голову, что математика сможет этого парадокса избежать – что можно составить такой формальный математический язык, который будет содержать собственный мета-интерпретатор, черточки, которые сами объясняют, что они значат, кодируют не просто структуру, а смысл. Конечная утопическая цель была сделать так, что истинность любого высказывания можно будет проверить, вообще не глядя на реальность, просто синтаксическими преобразованиями самого высказывания. Гильберт сотоварищи честно пытались построить такой язык, но все что-то не получалось.

Гедель просто показал – нет, оно так не работает, чуда нет. Ты не можешь иметь язык, содержащий собственный мета-интерпретатор, даже со всей силой математики. Красивая теорема на бумаге суть просто черточки – чтобы она начала что-то значить в реальном мире, надо ее хоть как-то к реальному миру привязать, сказать, что именно значат все эти страшные слова и символы. Математика может быть произвольно могущественной, но ничто не может быть бесконечно могущественным.

В этом вся теорема. Насколько она показывает пределы нашего познания – ну, как по мне, особо никак. По поводу Бога как ультимативных гуслей-самоинтерпретаторов можно разве что поприкалываться.

Сейчас мы видим проявление этой проблемы с компьютерными системами доказательства теорем. Сам по себе компьютер только в рамках своей формальной системы не может открыть ничего интересного или полезного – потому что у него нет никакой возможности понять, почему теорема Пифагора чем-то интереснее, чем теорема “вот это число с миллионом цифр, плюс вот это число с миллионом цифр, равно вот это число с миллионом цифр”. С его точки зрения это одинаково интересные черточки. А чтобы начать понимать, что релевантно реальному миру – надо, чтобы он вышел из своей коробки, принял красную таблетку и начал смотреть на реальный мир. Иначе никак.

Когда речь идет об ИИ, трансгуманизме, имплантов в мозг и тому подобных тем, часто можно заметить споры вокруг понятия wireheading.

Логика идет такая. Человеческий мозг работает примерно по принципу обучения с подкреплением (RL), грубо говоря, максимизирует чиселку награды в мозге и выполняет те действия, что несут больше награды. Сейчас к награде приводят нормальные хорошие вещи – вкусная еда, хорошая музыка, вид умирающих под твоими ногами врагов. Эту систему можно хакнуть – наркотики могут увеличивать награду напрямую так, что героиновому наркоману ничего, кроме героина, и не нужно, никакие переживания в реальном мире не дадут столько награды, сколько героин. В будущем мы сможем сделать еще лучше – подключить электрод напрямую к центру награды и дать максимум. Это будет типа бесконечное удовольствие, хрестоматийный пример "человечество вырождается в крыс под героином". Если речь идет про ИИ, то достаточно умный ИИ, вместо того, чтобы выполнять задачи людей, просто хакнет свой собственный центр награды и поставит туда максимальное значение – потому что зачем пытаться делать что-то еще?

Людей перспектива нажать на кнопку, которая сделает их бесконечно счастливыми и на этом закончит их историю, не особо прельщает. Но редко кто может строго сформулировать, почему. Некоторые занимают строго солипсическую позицию – да, имеет значение только то, насколько я счастлив в своей голове. Некоторые навешивают сложности типа "да, я буду счастлив, но это некруто по смутно определенным причинам". Некоторые долго объясняют, почему гедонизм это не главное, а главное тот или иной эквивалент служения Богу, или считают это ударом против утилитаризма, который приводит к вот такому абсурдному видению оптимальной вселенной, или пытаются перестроить все понимание этики... короче, тейков, которые пытаются усложнять эту проблему и искать в ней какой-то философский косяк, полно.

И все они неправы!

Здесь нет философского косяка! Здесь есть технический косяк! Для того, чтобы его понять, даже не обязательно разбираться в математике, достаточно хотя бы поиграть в древнюю игру Creatures, где ИИ титульных существ работает по принципу RL.

Интеллект, работающий по принципу RL, не пытается максимизировать собственную награду. Когда он действует, понятия награды в его структуре может даже вообще не быть. Награда существует только на этапе обучения, когда кристаллизуется в алгоритм поведения, и не существует на этапе действий. Можно считать, что такой интеллект выполняет не действия, которые максимизируют награду, а действия, которые во время обучения максимизировали награду – вне зависимости от того, будут ли они максимизировать ее сейчас.

В случае с людьми эти два этапа не чисто разделены и происходят одновременно, но тем не менее, ни на каком этапе человек не задается вопросом "а что максимизирует мне награду". Сейчас я не испытываю совершенно никакого желания воткнуть себе в мозг такой электрод, потому что в моей жизни ни разу не было такой ситуации, и мой мозг на ней не обучился. Если воткну – то мой мозг обучится на новом сигнале, и вот уже тогда будет хотеться продолжать сидеть с электродом. И наоборот – попавшие в зависимость от веществ или азартных игр или еще чего – продолжают потакать зависимости, даже когда точно знают, что удовольствия им от этого не будет. Поведение и желания людей прямо следуют из математики без необходимости придумывать новую философию.

И да, конечно, люди не только RL, и награды бывают разные, и вообще в человеческом мозге все куда сложнее. Но тем не менее, даже из самого простого случая никоим образом не следует, что wireheading это хорошая идея. Весь этот дискурс, как мне кажется, следует из простого непонимания. Кто-то сформулировал RL как "максимизацию награды" – что лишь частично верно. Потом кто-то придумал способ максимизировать награду очень очень сильно. И задает такой каверзный вопрос – "математика говорит, что тебе надо воткнуть в голову электрод, почему же ты так не хочешь?" И люди ищут изощренные способы выйти из этого когнитивного диссонанса вместо того, чтобы дать правильный ответ – "математика такого не говорит, ты попутал".

Нет, втыкание себе в голову электрода это никоим образом не хорошая идея. В конце концов, если ты это сделаешь, то вместо всех вещей, которые вызывали у тебя награду на этапе обучения – еда, секс, искусство, познание, достижения – ты будешь сидеть и тыкать в себя электродом, что настолько же бессмысленно и неприкольно, насколько звучит.

И вам абсолютно можно беспокоиться о вещах вне своей головы. Вам не нужно придумывать никаких философских обоснований, почему вам важно именно чтобы ваш любимый человек выжил, а не чтобы вы считали, что он выжил, и были тому рады. Это вот как раз наоборот, если кто-то беспокоится только о собственном душевном состоянии, нужно начинать разбираться – а почему, что у него так в мозге перемкнуло?

Как я обнаружила, что мой интернет-знакомый чатбот

ссылка

EDIT – новый контекст ссылка