Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Монстрикс — это динамичная стратегия, где ты собираешь, улучшаешь и сражаешься с могучими монстрами.

Монстрикс

Мидкорные, Стратегии, Мультиплеер

Играть

Топ прошлой недели

  • solenakrivetka solenakrivetka 7 постов
  • Animalrescueed Animalrescueed 53 поста
  • ia.panorama ia.panorama 12 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
JudgementCall
JudgementCall

РЕПОРТАЖ ИЗ БЕЛФАСТА, ОХВАЧЕННОГО РОКОМ⁠⁠

25 минут назад
РЕПОРТАЖ ИЗ БЕЛФАСТА, ОХВАЧЕННОГО РОКОМ

В продолжение прошлой публикации об альбоме Rory Gallagher - Irish Tour '74 (1974) вашему вниманию предлагается репортаж Роя Холлингворта из журнала Melody Maker с концерта Рори Галлахера в Ирландии в 1974 году.

РЕПОРТАЖ ИЗ БЕЛФАСТА, ОХВАЧЕННОГО РОКОМ

На Новый год Белфаст получил рок-н-ролльный концерт в небезызвестном Ольстер-холле.

Во главе с Рори Галлахером. Это был первый публичный рок-концерт с начала прошлого лета. Все билеты на шоу были распроданы за несколько недель до начала. Источники, близкие к подполью, обещали, что ИРА «оставит его в покое».

Две тысячи человек были вне себя от радости, когда Галлахер - уроженец Корка, Южная Ирландия - вышел на сцену, всего через 24 часа после того, как в городе прогремел самый мощный взрыв за ночь, когда прогремело не менее 10 взрывов.

Это было очень эмоциональное событие, учитывая полное забвение, в котором пребывал Белфаст в отношении живой музыки. Власти с радостью разрешили концерт, но проведение новых концертов зависит от готовности крупных британских групп приехать туда.

Белфаст, новогодний день. В этот субботний день на улицах не так много людей. Очень серый, очень холодный день. Улица, по которой мы идем, здорово разбита, как будто какой-то громоздкий слепой великан придавил здания своими сапогами, а потом смахнул обломки с каблуков на крыши. Он часто бывает в городе.

Промозглая, почти плесневелая атмосфера настолько нереальна, что первым чувством становится страх, а может, и подозрение. Ради всего святого, где же люди? Их не видно. В эти дни в город мало кто приезжает. И все же сегодня особенный день. В Ольстер-холле состоится концерт рок-н-ролла.

Вы слышите каждый свой шаг, потому что других звуков в воздухе почти нет. Только одна машина быстро вылетает с улицы и несется на большой скорости. Белфаст похож на какую-то машину, которая сгорела, но каждую ночь зажигается вновь. Корпус очень тонкий, а двигатель больше не работает.

«Ты мученик, Галлахер, ты знаешь это», - говорит большой Джим Эйкин, крупнейший промоутер Белфаста (которому в наши дни почти нечего рекламировать). «О нет, ради Бога, не говори «мученик», - возражает Рори Галлахер. «Я не вижу причин не играть в Белфасте. Ребята все еще живут здесь. Они могут устать от записей». Галлахер - антизвезда всех времен и народов.

Мы сидим в этом баре. Нам удалось найти его, потому что Айкин знал его. Двери были заперты, при входе вас обыскивают. «Нельзя быть слишком осторожным», - говорит „часовой“. Внутри бар абсолютно пуст. Время около трех часов дня, но все равно, что пить после работы. Холодно.

Вчерашний день был потрясающим. «Они» взорвали 100 фунтов гелигнита у детского кинотеатра, а затем проводили старый год еще почти дюжиной бомб. Мы провели новогоднюю ночь в сравнительной безопасности гостевого дома на Кромвель-роуд, а затем на диком, сумасбродном балу в Queen's University.

Галлахер выступал там на балу «пингвинов», где около 4000 человек так напились, что лежали и болели. Но это была отличная ночь, как какая-то римская оргия. Галлахер выступил примерно в 12:30. Когда он настраивался, и оставалось еще десять минут до конца старого года, в полумиле от него раздалось несколько громких взрывов. Галлахер ухмыльнулся, все ухмыльнулись. Некоторые из нас почувствовали страх, но вы, как правило, признаете это в шутливой форме. Бомбы взрываются очень громко, знаете ли. И они гремят.

Ребята в университете шутили по поводу бомб.

Одна девушка, хихикая, рассказала нам, что у нее два брата, один из которых служит в I.R.A., а другой - врач. «Один их взрывает, другой их латает», - сказала она. В то время это было забавно.

Меня спросили, буду ли я писать о раздираемом беспорядками Белфасте, где горожане прячутся по углам, или просто о рок-музыке. Сочетаются ли они? «Почему бы тебе не написать что-нибудь политическое?» - спросил один парень. «Я имею в виду, согласен ли ты с интернированием? Тебе нравятся бомбы? Бомбы - это вообще-то газ, особенно когда видишь, как они взрываются. А музыка? Ну, это чертовски здорово, что Галлахер приезжает. У нас давно не было больших имен. Мы слышали, что он хочет играть в Белфасте, и слышали, что его группа была немного напугана этим. Думаю, это правильно - бояться». Этот студент был порядком пьян. Город был в расписании концертов. Они могли отказаться, и никто бы не спросил их, почему.

Пока университет веселится, гуляет и благословляет Новый год, люди начинают говорить о концерте в Ольстер-Холле. Он запланирован на вторую половину дня. Автобусы перестают ходить в 8 вечера. Все билеты уже проданы.

Кто-то очень близкий к I.R.A. сказал, что концерт оставят в покое. Около пяти утра Queen's угасает, и пока мы едем обратно на Кромвель-роуд, по улицам разъезжает всего одна машина с солдатами. Солдаты выглядят исхудавшими, глядя на нас сквозь щели почтовых ящиков.

Выдержка из «Take One», местной андеграундной газеты, издаваемой «The Tribe».

«Рори Галлахер снова вернулся в Белфаст. По крайней мере, он приехал, и за это мы должны его поблагодарить».

Белфаст превратился в кладбище музыки. Концерты и большие группы ушли в прошлое.

Почему мы должны это терпеть? Мы слишком долго терпели апатичное дерьмо. Пришло время начать кампанию «Музыка в Белфасте». Мы должны создать достаточно шума, чтобы лицемеры в Англии (группы капиталистических агентов, которые не думают ни о чем другом, кроме как о том, как заработать) осознали, что они больше всего нужны в этом разорванном городе.

Мы хотим действовать сейчас. Слишком долго группы в Англии не давали музыку там, где она может оказать наибольшую помощь. Леннон говорит нам дать миру шанс, но посещал ли он нас? Все, что нам нужно, Джон, детка, это правда. Возможно, он поддерживает движение за мир где-нибудь в Гайд-парке.

Возможно, группы не хотят идти на жертвы. Может быть, они боятся, может быть, они не могут заставить себя помочь людям, которые нуждаются в этом больше всего, у которых нет никакой власти, о которой можно было бы говорить. Что ж, мы хотим попытаться донести до групп, что они нужны Белфасту.

Шумите: Делайте музыку. Музыка для Белфаста.

Вы знаете, они абсолютно правы. Когда вы видите ребят, а они такие замечательные, вы понимаете, что это правильно.

Представьте себе отсутствие концертов. Представьте себе отсутствие транспорта по ночам. Представьте, что вы читаете о блестящих выступлениях групп, выступающих за океаном, а эти группы никогда не приезжают в Ольстер. Что вы будете делать? Сидеть дома?

Нет. Недалеко от Кромвель-роуд они сидят в баре. Один парень с побитой гитарой немного поет, а ребята так дружны. Это здорово - быть вместе. Снаружи паба нет вывески, а окна либо затемнены, либо затянуты проволочной сеткой. Все по-настоящему, очень по-настоящему. Так что вам все равно. И это то, что они чувствуют, поверьте мне, они знают, что вам все равно. Они знают, что вы заботитесь о Бангладеш, и они знают, что вы должны заботиться об этом. Но разве нет времени позаботиться о Белфасте?

Теперь мы снова в день Нового года, снова в этом пустом баре. Галлахеру не терпится сыграть. Это заметно, когда он играет. Но сегодня ему хочется играть больше, чем обычно. Единственное, о чем Рори говорит, - это музыка. Он держит рот на замке по всем вопросам. Он просто выходит на сцену и играет музыку».

«Мне не составило труда устроить концерт», - говорит Эйкин, попивая апельсиновый сок. Ирландец, который не пьет. «Видите ли, они были только рады позволить мне устроить концерт. Им нравится, когда ты пытаешься сделать так, чтобы все выглядело как обычно».

- Когда был последний концерт, Джим?

«О Боже, это было сто лет назад. Теперь никто не приедет, это невозможно. Здесь есть только Галлахер, который может это сделать. Знаете, когда люди собираются вместе, происходят странные вещи. Мы иногда устраиваем небольшие танцы, и люди приходят на них. Когда не было никаких проблем, они долго не танцевали. Теперь они выходят на сцену, как только начинается музыка. Это очень эмоционально, когда видишь их всех вместе. Может быть, это как в Англии во время войны. Люди используют немногие возможности. Это как страна на войне».

В Белфасте очень много ребят. В Белфасте столько же ребят, сколько, скажем, в Бирмингеме. Вы можете это понять? В них нет ничего особенного. У них длинные волосы и они модные.

Мы допиваем пиво. Часовой закрывает бар и запирает за нами дверь. На улицах по-прежнему нет людей. Мы идем в сторону Ольстер-холла. Там, знаете ли, раньше выступал Пейсли.

Задние двери открыты. Они выходят на здание, которое было взорвано до неузнаваемости. Оно вывернуто наизнанку. Я встречаю парня, который раньше там работал. Теперь у него нет работы.

Как только мы оказываемся в Ольстер-холле, звучит живая музыка и сразу же меняется атмосфера. Даже в подвале ощущается тепло. Мы поднимаемся наверх, и там становится еще теплее. Мы заглядываем в окно, а там люди. Люди, 2000 или около того. Молодые, сидящие на своих местах.

Играет группа Fruup. Это белфастская группа, которая недавно вернулась в родной город после нескольких месяцев, проведенных в Лондоне. Они играют от души, а публика так хорошо их принимает.

Галлахер заходит в гримерку, а там так много людей, которые хотят пожать ему руку. Вы слышите дюжину или больше «спасибо, что пришли». Галлахер очень скромен, он почти смущен.

Я прогуливаюсь по залу. Он хорошо заполнен, в нем витают прекрасные вибрации. Кажется, девушек больше, чем парней. Они ничем не отличаются от любой другой рок-публики, просто, кажется, им больше хочется, чтобы этот день продолжался. Они получают от него все возможное удовольствие. Очень трудно объяснить, насколько эмоционально, насколько восхитительно все это. Вы должны быть в Белфасте и видеть эту молодежь, все вместе, все счастливы».

Fruup заканчивают игру под громкие аплодисменты и одобрительные возгласы.

В гримерку Галлахера приходит новая порция людей, чтобы пожать ему руку. Я сталкиваюсь с одним из тех, кто только что вышел. Он весь в поту и кричит мне: «Разве он не лучший, черт возьми! Разве это не чертовски здорово, что он здесь! Правда?» Да, я полагаю, что здесь нужно проявить эмоции.

Я никогда не видел ничего настолько замечательного, настолько волнующего, настолько поднимающего настроение, настолько радостного, как в тот момент, когда Галлахер и группа вышли на сцену. Весь зал взорвался, все стояли, аплодировали, кричали, вопили, поднимали руки вверх и обнимались. Затем все вместе они подняли руки вверх и подали знак мира. Не будучи глупым или слишком эмоциональным, это был один из самых запоминающихся моментов в моей жизни. Все это что-то значило, это значило больше, чем просто рок-н-ролл, это было что-то большее, что-то более значимое, чем просто музыка.

Тебе просто хотелось снять покров со стен этого зала и поставить его на огромную платформу, поднять над городом и позволить всем увидеть и услышать это. Две тысячи человек вместе, как одно целое, без меньшинств, без смутьянов, без запретов. Поверьте, это не слишком драматично.

Галлахер постоял немного, притворился, что не смотрит, а потом подключился, повернулся, быстро поздоровался, прожег взглядом сцену, низко пригнулся и заиграл на гитаре громко и плотно.

«Концерты - это A, B и C на листе, Белфаст может быть B, я не видел причин считать его отличным от A или C», - Галлахер

Это продолжалось очень долго. Лучшая публика, которую только можно пожелать. Под конец все вставали, бросались к выходу и хватались за руки, чтобы потрогать его и группу. А он вернулся и сыграл еще буги.

Никто не хотел, чтобы это заканчивалось. У некоторых ребят на глазах выступили слезы, причем не только у девочек, которые умилялись Рори, но и у парней. В Белфасте собралась лучшая публика в мире. Вся суть в том, чтобы развлекать ЛЮДЕЙ, достигает очень важного уровня.

Так что вы можете понять группы, которые не хотят играть в Белфасте. Да, это можно понять. Но можете ли вы действительно пренебречь этим? Если вы якобы играете музыку для людей, то вас должна немного мучить совесть. Или сначала деньги, потом люди. Никому не нужны лишние проблемы, так что отмените дату в Белфасте. Никто на вас не ополчится, если вы так поступите.

Но позвольте мне сказать, что в Белфасте они чувствуют себя очень обделенными вниманием. Большая часть блеска, большая часть честности, которая, очевидно, связана с роком, видна в истинном свете в Белфасте. И этого блеска, этой честности просто не существует. Герои народа? Ну, Галлахер - да, хотя все, что он сделал, - это выполнил свои обязательства.

Этой девушке в гримерке, должно быть, лет 18/19. Она очень красивая. Она впервые вышла куда-то за три недели. И, возможно, пройдет еще много-много времени, прежде чем она сможет пойти на другой концерт.

«Никто не хочет приезжать. Это невозможная ситуация» - Джим Эйкин"

Стоило ли это того, Рори?" Он снимает пропотевшую клетчатую рубашку. «Да, о, да, я думаю, что стоило».

Мы придаем слишком большое значение року? «Нет, он делает то, что не может сделать ничто другое. Если мы все еще можем проводить концерты, значит, они приносят только пользу» - Эйкин

«Как только прошло ощущение, что они благодарят меня за то, что я пришел. Как только они преодолели это, они погрузились в музыку. Тогда это было просто чудесно. Они замечательные ребята, вы знаете». - Галлахер

Если бы концерт был в его расписании, Галлахер сыграл бы в этом городе еще раз.

«Результат того, что переживает КАЖДЫЙ в этом городе, приводит к фрагментации людей на совершенно разные состояния и уровни сознания, в зависимости от того, какую часть истины они могут постичь... Чтобы восстановить равновесие, каждый из нас должен упорно помогать другим и себе быть более гармоничными. Мы нуждаемся друг в друге, чтобы спастись» - Джим Эндрюс, пишет в белфастской подпольной газете „Эго“.

«Я бы хотела, чтобы Марк Болан приехал» - девочка, около 15 лет.

Концерты возможны. Можно приехать в Белфаст и остаться на ночь. Не надо просто отмахиваться от этого. Если деньги - это главное, то вы соберете полный зал.

Итак, мы выходим из Ольстер-холла, и уже темно. На улицах никого не осталось. Те 2000 человек исчезли, успев уехать домой на автобусе. Все кончено. Тишину нарушает пожарная машина, а может, и скорая помощь. Это похоже на 4 часа утра. Но сейчас 7 часов вечера, и это субботний вечер.

https://vk.com/judgementcall

Показать полностью 1
Рок Блюз-рок Гитарист Репортаж Статья Перевел сам ВКонтакте (ссылка) Музыканты Музыка Длиннопост
1
6
kznalp
kznalp
Postgres DBA
Серия СУБД PostgreSQL

PG_EXPECTO: Прицельный залп по проблемам производительности PostgreSQL⁠⁠

6 часов назад

Взято с основного технического канала Postgres DBA (возможны правки в исходной статье).

Определи цель, заряди параметры, устрани проблему

Определи цель, заряди параметры, устрани проблему

Предисловие:

Когда производительность СУБД падает под нагрузкой, важно не стрелять наугад. Методика PG_EXPECTO предлагает сначала выявить ключевые цели — проблемные запросы и типы ожиданий — и только затем наносить точный удар, используя «большие пушки» оптимизации.

1. Анализ ожиданий СУБД на основании данных о диаграмме Парето

Проанализируй данные по типам ожидания в ходе инцидента производительности СУБД PostgreSQL

1. Анализ ожиданий типа IPC (Inter-Process Communication)

BgWorkerShutdown (40,62%) — наиболее проблемное событие:

  • Указывает на ожидание завершения фоновых процессов

  • Возможные причины:

  • Медленное завершение параллельных worker-процессов

  • Проблемы с освобождением ресурсов

  • Возможные deadlock-ситуации при завершении

ParallelFinish (25,4%) и ExecuteGather (21,14%):

  • Связаны с параллельным выполнением запросов

  • Высокие значения могут указывать на:

  • Слишком агрессивные настройки параллелизма

  • Конкуренцию за ресурсы между параллельными worker-ами

  • Неоптимальные планы выполнения параллельных запросов

2. Анализ ожиданий типа LWLock (Lightweight Locks)

BufferMapping (49,46%) — основная проблема в блокировках:

  • Указывает на конкуренцию за доступ к буферному кешу

  • Возможные причины:

  • Недостаточный размер shared_buffers

  • Высокая конкурентная нагрузка на горячие данные

  • Отсутствие или неэффективность индексов

SerializableXactHash (31,72%):

  • Связано с транзакциями уровня изоляции SERIALIZABLE

  • Может указывать на:

  • Высокую конкуренцию за структуры данных serializable транзакций

  • Необходимость оптимизации транзакций

Рекомендации по устранению проблем:

Для IPC-ожиданий:

1.Проверить настройки параллелизма:

max_parallel_workers_per_gather

max_parallel_workers

max_worker_processes

2.Анализировать логи на предмет ошибок воркеров

3.Рассмотреть уменьшение параллелизма для сложных запросов

Для LWLock-ожиданий:

  1. Оптимизировать работу с буферным кешем:

  2. Увеличить shared_buffers (если позволяет RAM)

  3. Проверить эффективность индексов

  4. Рассмотреть использование pg_prewarm для критичных данных

  5. Для Serializable транзакций:

  6. Проверить необходимость использования SERIALIZABLE изоляции

  7. Оптимизировать длительность транзакций

  8. Рассмотреть альтернативные уровни изоляции

Общие рекомендации:

  1. Сбор дополнительной информации:

  2. Получить полный список ожиданий за период инцидента

  3. Проверить мониторинг нагрузки на CPU, IO, память

  4. Возможные immediate-действия:

  5. Перераспределить нагрузку по времени

  6. Временно снизить параллелизм

  7. Добавить индексы на часто используемые поля в условиях WHERE/JOIN

Вывод:

Основные проблемы связаны с параллельным выполнением запросов и конкуренцией за буферный кеш. Рекомендуется поэтапная оптимизация настроек параллелизма и работы с памятью.

2. Анализ событий ожиданий по отдельным SQL-запросам на основании данных о диаграмме Парето

Проанализируй данные по событиям ожидания для SQL запросов по queryid в ходе инцидента производительности СУБД PostgreSQL

Ключевые выводы по корреляции типов ожиданий и запросов

1. Запросы с наибольшим влиянием на IPC-ожидания:

Топ-1 проблемный запрос (17,6% IPC ожиданий):

  • queryid: -1701015661318396920 3018 вызовов, 85k строк

  • Ожидания: BgWorkerShutdown, ParallelFinish, BufferIO, ExecuteGather

  • Анализ: Часто выполняемый параллельный запрос с проблемами завершения воркеров

Топ-2 (14% IPC ожиданий):

  • queryid: -678327810318891437 5183 вызовов, 5183 строк

  • Особенность: Каждый вызов возвращает ровно 1 строку

  • Высокая частота выполнения усиливает проблемы параллелизма

2. Запросы с наибольшим влиянием на LWLock-ожидания:

Топ-1 проблемный запрос (24,73% LWLock ожиданий):

  • queryid: -8182552260313222074 42,7k вызовов, 8,5M строк

  • Ожидания: BufferMapping

  • Анализ: Крайне часто выполняемый запрос с высокой конкуренцией за буферный кеш

Критический запрос, присутствующий в обеих категориях:

  • queryid: 5459520954633506046:

  • IPC: 5,34% (параллельное выполнение)

  • LWLock: 11,83% (ParallelHashJoin)

  • Особенность: 287 вызовов, но 217k строк на вызов (~759 строк/вызов)

  • Вероятно: Сложный аналитический запрос с хеш-соединениями

Детальный анализ проблемных паттернов:

A. Проблемы параллельного выполнения:

  1. Запросы с ParallelFinish и ExecuteGather:

  2. Все топ-8 IPC запросов имеют эти ожидания

  3. Рекомендация: Уменьшить max_parallel_workers_per_gather для этих queryid

  4. Конкретные кандидаты на оптимизацию:

  5. queryid: 1374759154717555017 2053 вызова, 0 строк

  6. Возможно, DML-операция с неправильным планом

  7. Имеет HashBuildHashInner - проблема с хеш-таблицами

B. Проблемы с блокировками буферов:

  1. Высокочастотные запросы:

  2. queryid: -8182552260313222074 42k вызовов

  3. Решение: Кэширование на уровне приложения, batch-обработка

  4. Serializable транзакции в db5:

  5. 4 из топ-8 LWLock запросов используют SerializableXactHash

  6. Все из базы db5

  7. Рекомендация: Пересмотреть уровень изоляции

Приоритетные действия:

1. Немедленные меры:

  • Для queryid: -8182552260313222074 (42k вызовов):

  • -- Добавить индексы на используемые предикаты

  • -- Внедрить кэширование на 5-10 минут

  • Для queryid: -1701015661318396920 (частый параллельный запрос):

  • -- Принудительно отключить параллельное выполнение

  • SET max_parallel_workers_per_gather = 0;

2. Среднесрочная оптимизация:

Группа 1: Частые параллельные запросы

  • queryid: -678327810318891437 (5k вызовов)

  • queryid: 3449463017331132112 (3k вызовов)

  • Действие: Оптимизация планов, уменьшение частоты выполнения

Группа 2: Запросы с хеш-соединениями

  • queryid: 5459520954633506046

  • queryid: 1374759154717555017

  • Действие: Увеличить work_mem, добавить индексы для соединений

3. Долгосрочные изменения:

Для базы db5 (Serializable транзакции):

  • Аудит необходимости SERIALIZABLE изоляции

  • Возможный переход на REPEATABLE READ

Настройка PostgreSQL:

# Увеличить для уменьшения BufferMapping

shared_buffers

# Оптимизация параллельных запросов

max_parallel_workers_per_gather = 2 (вместо 4-8)

parallel_setup_cost = 1000

parallel_tuple_cost = 0.1

# Увеличение для хеш-соединений

work_mem = 32MB (или больше)

Рекомендуемый план действий:

  1. Неделя 1: Оптимизация двух самых проблемных запросов

  2. queryid: -8182552260313222074 (кэширование)

  3. queryid: -1701015661318396920 (отключение параллелизма)

  4. Неделя 2: Анализ и оптимизация запросов с хеш-соединениями

  5. Добавление индексов

  6. Пересмотр логики запросов

  7. Неделя 3: Работа с часто выполняемыми запросами

  8. Батчинг

  9. Оптимизация бизнес-логики

  10. Неделя 4: Пересмотр уровня изоляции в db5

  11. Тестирование производительности при READ COMMITTED/REPEATABLE READ

Важно:

Все изменения должны тестироваться на staging-окружении с нагрузочным тестированием.

3.Сводный отчет по ожиданиям и проблемным SQL запросам

Сформируй сводный отчет по типам ожиданий и событиям ожиданий для проблемных SQL запросов в ходе инцидента производительности СУБД PostgreSQL

Контекст

В ходе инцидента производительности СУБД PostgreSQL выявлены проблемные SQL-запросы с высокой корреляцией (≥0.7) между типом ожидания и нагрузкой на СУБД. Отчет сформирован на основе анализа событий ожиданий и соответствующих запросов.

Ключевые наблюдения

  1. Наиболее частые события ожидания:

  2. IPC: BgWorkerShutdown (40,62%)

  3. LWLock: BufferMapping (49,46%)

  4. Наиболее проблемные запросы:

  5. IPC: -1701015661318396920 (17,6% ожиданий)

  6. LWLock: -8182552260313222074 (24,73% ожиданий)

  7. Распределение по БД:

  8. db1 и db5 имеют наибольшее количество проблемных запросов

  9. role1 является общей ролью для всех проблемных запросов

  10. Паттерны ожиданий:

  11. Запросы с высоким числом CALLS часто имеют ожидания типа LWLock

  12. Запросы с большим количеством возвращаемых ROWS склонны к ожиданиям IPC

Рекомендации для дальнейшего анализа

  1. Сфокусироваться на оптимизации запросов с наибольшим процентом ожиданий

  2. Исследовать причины частых событий BgWorkerShutdown и BufferMapping

  3. Проанализировать работу параллельных операций (ParallelFinish, ExecuteGather)

  4. Проверить настройки, связанные с управлением блокировками и параллельным выполнением

Показать полностью 3
[моё] Postgresql Тестирование Нейронные сети Статья Исследования Длиннопост
0
11
DailyWinegraph
DailyWinegraph
Серия Календарь

Андрей Челищев - русский отец калифорнийского виноделия⁠⁠

1 день назад

В это может быть трудно поверить, но своим современным уровнем виноделие Соединенных Штатов Америки, в частности Калифорнии, во многом обязано русскому. И не просто русскому, а человеку, который до определенного момента не имел никакого отношения к виноградарству и виноделию.

Андрей Челищев родился в самом начале ХХ века, в 1901 году в семье председателя Московского окружного суда Виктора Челищева и ничего не предвещало ему необычной судьбы. Грянувшая в 1917 году революция и последовательные действия отца Андрея на стороне государства вскоре вынудили семью спасаться из Москвы бегством. Московская квартира и фамильный особняк под Боровском были разграблены революционным народом и Челищевы не без проблем нашли кратковременный приют в Екатеринодаре. Может быть именно отсюда, из этого южного региона России, одного из немногих, пригодных для выращивания винограда, и возникло первое увлечения Андрея этой культурой, кто знает. Но пока молодой человек (а Челищеву в это время около 18 лет) вступает в кадетский корпус и принимает участие в боевых действиях на стороне армии Врангеля. В 1920 году при штурме Перекопа он получает огнестрельное ранение и лишь по счастливой случайности не погибает.

В последующие годы его ожидает участь многих белогвардейцев, окончательно разбитых и вынужденных искать спасения в Европе - после поражения Белой армии от большевиков в 1920 году, поручик Челищев эвакуировался вместе с большинством своих однополчан в Галлиполи. Там он был демобилизован и получил разрешение выехать с семьей из Константинополя в Югославию. Оттуда он был направлен в Болгарию на работы в шахтах, но благодаря имевшейся у него военной справке, был одним из счастливцев, кому удалось поступить в университет города Брно в Чехословакии. Не на медицинский факультет, куда он хотел сам, а на агрономический - это было практически единственное место, где в рамках "Русской программы" (программа помощи русским эмигрантам, первая помощь беженцам, оставшимся без средств к существованию) обучался и получал стипендию. За Чехией последовала Франция, где Андре сначала попытался наладить собственное дело - птицеферму, но после его краха по форс-мажорным обстоятельствам, проходил курсы винной микробиологии в Институте Пастера и учился в агрономическом институте (Institut National Agronomique) в Париже. Некоторое время он стажируется в известном шампанском доме Moet & Chandon. В конце концов, как это часто бывает, в его судьбу в очередной раз не вмешивается "Его Величество Случай".

Париж, 1938 год

Париж, 1938 год

Жорж Латур, обеспеченный и амбициозный американский химик, занимавшийся среди прочего производством "винного камня" (натурального соединения, выпадающего в осадок к виноградном вине), решивший после отмены в США "сухого закона" значительно увеличить производство вина и навести на принадлежащей ему калифорнийской винодельне Beaulieu Vineyard надлежащий порядок, обратился к профессору Марсэ за рекомендацией по кандидатуре главного винодела. Марсэ порекомендовал обратиться с предложением к Челищеву, который достаточно неожиданно принял приглашение и в сентябре 1938 года переехал из Парижа в Калифорнию.

Ричард де Латур, Андрей Челищев и Фернанда де Латур дегустируют вина

Ричард де Латур, Андрей Челищев и Фернанда де Латур дегустируют вина

Несмотря на то, что история виноделия в Калифорнии насчитывала к этому моменту уже около 100 лет (первые документированные посадки виноградников относятся к 1833 году), существенного развития в части технологий оно здесь не получило. На виноградниках массово использовался сорт Mission, принесенный в страну еще миссионерами, что видно по его названию. Качество вин, получаемых из этого сорта никогда не было слишком высоким, а дополнительные годы "сухого закона", за время которого большинство виноградников было вырублено или заброшено и вовсе едва не убили американское виноделие окончательно.

Beaulieu Vineyard, Ратерфорд, Калифорния

Beaulieu Vineyard, Ратерфорд, Калифорния

Примерно такую картину обнаружил Челищев на винодельне Beaulieu Vineyard, которая хотя и выжила во время прогибиционизма благодаря производству вина для нужд католической церкви, но пребывала в глубоко запущенном состоянии и требовала существенных реноваций. Будучи страстным любителем французских вин Андрэ занялся в первую очередь клоновой селекцией Каберне Совиньона, одного из основных сортов винограда в Бордо, подбирая для него лучшие участки на виноградниках, экспериментируя с технологией винификации. Его предшественник, винодел Леон Бонне, оставил после себя значительное количество неплохих участков, засаженных Каберне Совиньоном и некоторое количество вин в бочках. Занявшись вплотную их изучением, Челищев вскоре пришел к выводу, что обычная на тот момент практика смешивания вин с разных виноградников только ухудшает общий уровень вина и принял решение о выделении Каберне с виноградника Ратерфорт в отдельное производство. Кроме этого он настоял на замене значительной части оборудования на винодельне, на обновлении бочкового парка, на использовании бочек малого объема (225 литров), что до него практически никто в Калифорнии не делал. Результаты не заставили себя ждать - всего через несколько лет Georges de Latour Private Reserve стало олицетворением стандарта лучшего калифорнийского Каберне.

Челищев также принес в калифорнийское виноделие системную работу с диоксидом серы и другими вспомогательными препаратами, которые до него обычно использовали без точных дозировок, "на глазок". Высоко оценивая достоинства, которые придает вину выдержка виноградного сусла в контакте со шкуркой перед брожением при низкой температуре, Андре также одним из первых начинает ее широкое использование для белых и розовых вин. Он изучает сам и учит коллег управлению уровнем кислоты в вине при помощи вторичного брожения специального вида (яблочно-молочное брожение). Количество новшеств и передовых идей, которые Челищев привел и популяризовал на американской земле с трудом поддается исчислению. Более того, он фактически открыл для виноделия такие регионы как Карнерос, способствовал увеличению посадок таких сортов как Пино Нуар и Пино Гри в Орегоне, популяризовал Каберне Совиньон в Вашингтоне.

Успехи на поприще виноделия достаточно быстро принесли Челищеву уважение со стороны многих калифорнийских виноделов, особенно тех, которые стремились изменить ситуацию на собственных винодельнях. У Челищева появились последователи и ученики. После того, как Андре в 1950 году основал собственную лабораторию, в которой консультировал специалистов из других виноделен, его идеи и взгляды нашли самое широкое применение. Среди его учеников были Роберт Мондави, Майкл Гргич, Уоррен Виньярски, Джо Хайтц и многие другие, чьи имена через 25 лет, после знаменитой парижской дегустации в 1976 году, прогремят на весь мир.

Не стоит, впрочем, думать, что жизнь русского винодела в Калифорнии в это время безоблачна. После смерти Латура в 1940 году Челищеву с большим трудом удавалось убеждать его наследников выделять средства на дальнейшее развитие винодельни. Общий экономический спад в это время также вскоре вынудил его закрыть свою Napa Valley Enological Research Laboratory, поскольку среди виноделов становилось все меньше тех, кто мог оплачивать его помощь и консультации. Кризис заставил Челищева продать принадлежавшую ему долю собственности в исторической винодельне Buena Vista в Сономе, похоронив все мечты о собственной винодельне. Но хуже всего было то, что в 1969 году наследники Латура без какого бы то ни было согласования с Андре продали Beaulieu Vineyard крупной алкогольной компании, что еще более усложнило его работу. Проработав на винодельне еще 5 лет Андре в 1973 году ушел в отставку с поста главного винодела, на котором проработал 35 лет.

Памятник Андрею Челищеву на винодельне Beaulieu Vineyard

Памятник Андрею Челищеву на винодельне Beaulieu Vineyard

С этого момента его карьера продолжалась уже не только в Америке - Челищев начинает консультировать множество виноделен в разных местах в качестве независимого эксперта. Двое виноделов, сделавших победившие в «Парижском суде» 1976 года вина (Майк Гргич, Уоррен Виньярски), были среди тех, кого он наставлял.  Его приглашали в лучшие хозяйства Европы, от респектабельных Эльзаса и Бордо, до мало кому тогда известных уголков Италии. Заслуги Челищева высоко оценивает французское правительство и американская ассоциация виноделов, маркиз Лодовико Антинори привлекает его в числе прочих звезных экспертов к работе над своим проектом в Болгери, который закончился появлением на свет великого вина - Орнелайи.

Роберт Мондави, Лэн Эванс, Андрей Челищев, Лoдовико Антинори, Джим Аллен

Роберт Мондави, Лэн Эванс, Андрей Челищев, Лoдовико Антинори, Джим Аллен

Многие идеи Челищева в дальнейшем были развиты и усовершенствованы его учениками и коллегами, цитаты и ссылки на "маэстро" (а именно так его называли те, кто считал Андре своим учителем) сегодня можно встретить в десятках и сотнях книг, считающихся классическими учебниками по виноделию.

Любая, даже самая краткая история виноделия в США, в Калифорнии, Орегоне, Вашингтоне обязательно начинается с почтительного упоминания имени Андре Челищева. Один только список виноделен и проектов, к которым приложил свою руку русский винодел занимает несколько строк: Beaulieu, Charles Krug, Louis M. Martini, Buena Vista, Firestone, Schramsberg, Stag's Leap Wine Cellars, Hanzell, Heitz, Simi, Chateau Ste. Michelle, Hoffman, Jordan, Quilceda Creek, Sequoia Grove, Villa Mt. Eden, Conn Creek, King Estate, Rodney Strong, Niebaum Coppola и список этот далеко не полон. Американский Кулинарный Институт внес имя Андре Челищева в Винный Зал Славы (Vintner's Hall of Fame), а читатели самого популярного с США журнала на винную тему Wine Spectator выбрали его в качестве победителя в номинации "The Person Who Has Done the Most to Advance Wine Quality"

Ежедневный Винный Телеграф
https://t.me/the_daily_winegraph

Показать полностью 10
Календарь Люди Вино Виноделие США Калифорния Алкоголь Статья Telegram (ссылка) Длиннопост
0
3
fiveradriana1
Лига Криптовалют

Как за 30 секунд понять, что новый токен — не скам⁠⁠

1 день назад

(версия для тех, кто только зашёл в крипту и ещё не успел обжечься)

Представьте: появляется новый токен. В чатах паника, кто-то кричит «ЛЕТИМ НА ЛУНУ!!!», кто-то уже пишет «ААА МЕНЯ ОБМАНУЛИ». И всё это происходит в первые же секунды после запуска.

Чтобы не оказаться в команде «меня обманули», давайте разберёмся, как за полминуты понять, что токен — не мошенничество, и при этом не тонуть в умных словах.


🔤 Мини-словарик (чтобы дальше было понятно)

Токен — цифровая монетка внутри блокчейна (обычно на BNB Chain или Ethereum).

Контракт — программа, по которой токен работает. Как правила игры.

Ликвидность (ликва) — деньги, которые лежат в пуле, чтобы вы могли купить и продать токен.

Холдеры — люди и кошельки, которые держат токен.

Пул ликвидности — место, где хранятся монеты для обмена (как склад с товарами).

Лок ликвидности — когда ликвидность заперта и создатель не может её забрать.

Окей, теперь поехали.

⸻

⏱ 0–10 секунд: смотрим контракт (без страшных слов)

Если сравнивать токены с машинами, то контракт — это мотор. Если мотор кривой, машина далеко не уедет. Или взорвётся.

Что проверяем:

❌ 1. Можно ли создателю печатать бесконечные токены?

Если да — это как если бы владелец мог печатать себе деньги, пока вы покупаете «настоящие». Следует это расценивать как «пока!»

❌ 2. Может ли создатель замораживать ваши токены?

То есть вы купите, а он скажет: «Ну ладно, но пользоваться нельзя». Это не инвестиция, а просто какой-то прикол.

❌ 3. Можно ли продавать?

Бывает так, что купить можно, а продать — нельзя.Это уже не шутка, такие токены существуют, и это чистый скам. Если видите что-то такое — просто закрывайте вкладку и идите пить чай.

🛠 Чем быстро проверить контракт?

Вот здесь подключаются анализаторы — они экономят время.

• GoPlus Security Scanner — моментально показывает подозрительные функции (https://gopluslabs.io)

• Token Sniffer — даёт рейтинг безопасности контракта (https://tokensniffer.com)

• DexTools Score — показывает базовый риск-профиль токена (https://www.dextools.io)

• Sniper Bot — подсказывает критичные риски перед входом, чтобы не ловить запрещённые к продаже токены (@SniperProXBot)

⸻

⏱ 10–20 секунд: проверяем ликвидность (это важно!)

Ликвидность — это «денежная подушка» токена.

Буквально: сколько денег лежит в пуле, чтобы вы могли купить и продать монету.

Что важно:

✔ 1. Сколько денег в пуле?

Если там 200–300 долларов, это очень мало. Цена прыгает, как бешеная белка.

✔ 2. Заблокирована ли ликвидность?

Если не заблокирована, создатель может её забрать в любой момент — и цена упадёт до нуля.

Это называется rug pull (по-русски — «выдёргивание ковра»).

✔ 3. Кто добавил ликвидность?

Иногда её добавляет тот же кошелёк, который владеет почти всем токеном.

Это признак того, что всё контролирует один человек — а это риск.

🛠 Инструменты проверки ликвидности

• DexScreener — моментально показывает размер пула и есть ли лок (https://dexscreener.com)

• Unicrypt / Team.Finance — сервисы, где можно подтвердить «заморожена ли ликва» (https://unicrypt.network)

• Sniper Bot — при появлении новой ликвидности сразу сообщает статус: залочена/незалочена, какое количество, кем добавлена.

⸻

⏱ 20–30 секунд: смотрим, кто держит токен

Открываем список холдеров — он есть у любого токена.

❗ Если у одного кошелька 80–90% — закрываем и уходим.

Он может слить всё в одну секунду.

❗ Если создатель держит больше трети — тоже настораживает.

Может быть ок, но опасно.

✔ Хорошо, когда токены распределены равномерно.

Много кошельков, маленькие проценты — это похоже на честный запуск.

🛠 Инструменты для проверки холдеров

• Etherscan / Solscan — показывают топ-держателей (https://etherscan.io )

• Mobula — удобно отображает распределение (https://mobula.io)

• Sniper Bot — автоматически проверяет концентрацию токена в руках отдельных кошельков (особенно удобно в первые секунды после появления) (@SniperProXBot)


🟩 Блок важный: первые сделки

Даже если всё выше выглядит нормально, смотрим:

📌 Есть ли покупки и продажи?

Если идут только покупки — это может быть искусственный памп (подгон).

📌 Не прыгает ли цена дико?

Если цена резко x2/x3/x4 за секунды — это не рост, это манипуляция.

📌 Есть ли странные одинаковые сделки?

Это значит, что торгуют боты, а не реальная аудитория.

🟦 Итог

Первые 10–30 секунд — самые прибыльные, но и самые опасные.

В этот момент:

• цена ещё низкая,

• конкуренция минимальна,

• ликвидность только что залита,

• рынок не успел перегреться.

Но именно в эти же секунды происходят больше всего скамов — токены с фейковой ликвидностью, запрещённой продажей, скрытыми функциями или хитрыми контрактами. Поэтому проверка — это не «геморрой для зануд», а минимальная страховка, чтобы не потерять деньги в первый же день. Инструменты вроде GoPlus, DexScreener, Token Sniffer и снайпер-ботов — это всего лишь помощники. Они не дают 100% гарантий, но:

• ускоряют проверку,

• подсвечивают риски,

• не дают пропустить важные детали,

• и помогают не входить «вслепую».

Использовать такие инструменты — это не «хитрый лайфхак», а нормальная практика трейдеров, которые хотят жить чуть дольше, чем до первого скама.


Показать полностью 2
[моё] Заработок Заработок в интернете Арбитраж криптовалюты Предпринимательство Криптовалюта Крипторынок Пикабу Биткоины Фриланс Пассивный доход Стартап Бизнес Статья Истории из жизни Совет Полезное Гайд Длиннопост
0
0
Chaos2Clarity
Chaos2Clarity

Генерального директора и его психолога роботы не заменят⁠⁠

1 день назад

В общественной дискуссии об искусственном интеллекте доминирует страх перед «замещением» людей. Однако новое исследование McKinsey Global Institute «Agents, robots, and us: Skill partnerships in the age of AI» предлагает фундаментально иную парадигму: будущее работы — это не соревнование, а партнерство навыков (skill partnerships). К 2030 году успешная интеграция людей, ИИ-агентов и роботов может создатьтолько в экономике США дополнительную стоимость в размере $2,9 трлн.

Ключевой вызов для лидеров заключается не в автоматизации отдельных задач, а в полной перестройке рабочих процессов (workflows), где рутина делегируется машинам, а человеческий капитал перенаправляется на решение задач, требующих эмпатии, сложного суждения и креативности.

Новая триада рабочей силы: Люди, Агенты и Роботы

Исследование вводит четкую таксономию для понимания автоматизации, разделяя «машинных» участников процесса на две категории:

  • Агенты (Agents): Системы, автоматизирующие когнитивную, нефизическую работу (например, генерация текста, анализ данных, планирование).

  • Роботы (Robots): Машины, выполняющие физические задачи (манипуляции, перемещение, сборка).

Ключевой инсайт: Текущие технологии теоретически способны автоматизировать 57% рабочих часов в экономике США. Это не прогноз массовых увольнений, а индикатор масштабной трансформации содержания профессий. Роли не исчезнут, но их наполнение изменится радикально.

Вопреки опасениям, ИИ не делает человеческие навыки устаревшими. Исследование показывает, что более 70% навыков, востребованных сегодня, применимы как в автоматизируемых, так и в неавтоматизируемых задачах.

Для оценки рисков и возможностей McKinsey разработали Индекс изменения навыков (Skill Change Index), который делит навыки по степени подверженности влиянию ИИ:

  • Высокая экспозиция (трансформация): Цифровые навыки, обработка информации, рутинное программирование и бухгалтерия. Спрос на AI fluency (свободное владение инструментами ИИ) вырос в 7 раз за два года — быстрее, чем на любой другой навык.

  • Низкая экспозиция (стабильность): Навыки, связанные с заботой о людях, лидерством, переговорами и обучением. Эмпатия и сложное межличностное взаимодействие остаются уникальной прерогативой человека.

Вместо того чтобы учиться «конкурировать» с машинами, работники должны учиться управлять ими. Например, роль копирайтера смещается от «написания черновиков» к «редактуре и верификации» контента, созданного агентом.

Семь архетипов профессий будущего

Исследование классифицирует все профессии в семь архетипов в зависимости от баланса участия людей и машин. Это помогает понять, как именно изменится та или иная роль:

Человекоцентричные (People-centric)
Примеры ролей: медсёстры, психологи, топ-менеджеры.
Прогноз изменений: минимальная автоматизация. Технологии играют вспомогательную роль, основная ценность — в человеческом факторе.
Агентоцентричные (Agent-centric)
Примеры ролей: бухгалтеры, разработчики ПО, юристы.
Прогноз изменений: высокий потенциал автоматизации когнитивных задач. Роль человека смещается к контролю качества и стратегическому надзору.
Роботоцентричные (Robot-centric)
Примеры ролей: сварщики, фасовщики, водители.
Прогноз изменений: высокая автоматизация физического труда. Люди нужны для решения нестандартных ситуаций и обслуживания роботов.
Гибридные (People-Agent, People-Robot и др.)
Примеры ролей: учителя, инженеры, фермеры.
Прогноз изменений: сбалансированное партнёрство. Например, учитель использует ИИ для персонализации уроков, а фермер — дроны для мониторинга полей.

От автоматизации задач к переосмыслению процессов (Workflow Redesign)

Это, пожалуй, самый важный стратегический вывод отчета. Компании, которые просто внедряют ИИ для ускорения отдельных задач (например, "напиши email быстрее"), упускают главный потенциал роста.

Настоящий экономический прорыв возможен только при полном редизайне рабочих процессов.

  • Пример: Вместо того чтобы просто дать сотрудникам службы поддержки чат-бота, компания должна перестроить весь путь клиента так, чтобы агенты ИИ решали 80% запросов автономно, а люди подключались только для решения эмоционально сложных или нестандартных проблем.

  • Результат: Это меняет саму структуру организации, требуя от сотрудников не исполнительности, а умения оркестрировать работу цифровых помощников.

Мы вступаем в эпоху, где компетентность определяется не тем, что вы знаете, а тем, как эффективно вы сотрудничаете с искусственным интеллектом.

  1. Инвестируйте в «свободное владение ИИ» (AI fluency): Это новый базовый навык грамотности для всех сотрудников, от стажеров до топ-менеджеров.

  2. Фокусируйтесь на уникально человеческом: Развивайте в командах критическое мышление, эмпатию и навыки управления изменениями — именно это станет дефицитным ресурсом.

  3. Перестраивайте процессы, а не просто внедряйте софт: Ищите возможности для фундаментального изменения того, как создается ценность, а не просто оптимизируйте старые методы.

Показать полностью
[моё] Исследования Искусственный интеллект Будущее Автоматизация Статья Текст
0
4
kznalp
kznalp
Postgres DBA
Серия СУБД PostgreSQL

PG_EXPECTO: Принцип «только большие пушки» для СУБД⁠⁠

1 день назад

В силу ограниченности платформы Пикабу - статья сокращена. Полностью - на основном канале Дзен.

Когда нужен не просто выстрел, а залп главным калибром.

Когда нужен не просто выстрел, а залп главным калибром.

PG_EXPECTO — это не просто инструмент, а целостный комплекс, построенный на двух новых принципах.

1. Комплексный статистический анализ (CSSA)

Система больше не разделяет метрики СУБД и инфраструктуры. Она создаёт единый корреляционный снимок всей системы:

  • Вертикальная корреляция: Вместо отдельных событий система видит цепочки: например, как медленный запрос вызывает рост очереди дисковых операций (iowait).

  • Проактивность: Комплекс отслеживает не сбои, а тренды. Он может предупредить: «Обнаружена устойчивая тенденция к деградации из-за X», позволяя устранить проблему до того, как она затронет пользователей.

2. Семантический анализ и нейросеть-ассистент

Это и есть та самая «турбина». Вместо сырых графиков PG_EXPECTO использует нейросеть, которая интерпретирует данные в контексте.

Практический пример

Инцидент производительности СУБД в панели Zabbix

Регрессионный и корреляционный анализ производительности и ожиданий СУБД

Операционная скорость и ожидания СУБД

График изменения операционной скорости СУБД перед инцидентом

График изменения операционной скорости СУБД перед инцидентом

Исходные данные для семантического анализа нейросетью

1. Производительность и ожидания СУБД

2. Метрика vmstat

3.Метрика iostat для дискового устройства, файловой системы /data

3.Метрика iostat для дискового устройства, файловой системы /wal

1.Анализ производительности и ожиданий СУБД

Проведи анализ производительности и ожиданий СУБД PostgreSQL за заданный период

На основе предоставленных данных можно провести следующий анализ производительности и ожиданий СУБД PostgreSQL за период с 08:40 до 09:40:

📈 1. Регрессионный анализ

· Операционная скорость (SPEED):

o Коэффициент детерминации R2=0.88R2=0.88 → модель хорошо описывает данные.

o Угол наклона = -43.1 → скорость со временем снижается.

· Ожидания СУБД (WAITINGS):

o R2=0.75R2=0.75 → модель умеренно точна.

o Угол наклона = +40.87 → количество ожиданий растёт.

🔗 2. Корреляционный анализ

· SPEED vs WAITINGS: −0.763→ сильная отрицательная корреляция. Чем больше ожиданий, тем ниже скорость.

· WAITINGS vs IPC: 0.9039 → очень сильная положительная корреляция. Рост межпроцессного взаимодействия связан с ростом ожиданий.

· WAITINGS vs LWLOCK: 0.9587 → почти прямая зависимость. Ожидания сильно связаны с лёгкими блокировками (lightweight locks).

📉 3. Динамика изменения показателей

· SPEED:

o Начало: ~130 572

o Конец: ~90 948

o Снижение на ~30% за час.

· WAITINGS:

o Начало: 345

o Конец: 435

o Рост на ~26%.

· IPC и LWLOCK также растут, особенно заметно после 09:30.

⚠️ 4. Потенциальные проблемы

1. Рост LWLOCK → возможна конкуренция за лёгкие блокировки (например, в памяти).

2. Рост IPC → увеличивается нагрузка на межпроцессное взаимодействие, возможно из-за параллельных запросов.

3. Падение SPEED при росте WAITINGS → система тратит больше времени на ожидания (возможно, из-за блокировок или нехватки ресурсов).

2.Анализ vmstat

Проведи анализ метрик vmstat за заданный период

На основе данных vmstat за период с 08:40 до 09:40 проведён анализ производительности системы, на которой работает PostgreSQL. Вот ключевые выводы:

📊 1. Общие тенденции

· Время простоя CPU (idle) снизилось с 90% до 85%.

· Пользовательская нагрузка CPU (us) выросла с 9% до 13%.

· Системная нагрузка CPU (sy) стабильна (2%).

· Ожиданий ввода-вывода (wa) не наблюдается (0%).

🧠 2. Анализ памяти

Показатель Начало Конец Изменение Комментарий

swpd 710МБ 749МБ +39 МБ Незначительный рост свопа, система не испытывает нехватки RAM.

free 7185МБ 3221МБ -3964 МБ Сильное снижение свободной памяти, что говорит о её активном использовании.

cache 53521МБ 55937МБ +2416МБ Кэш памяти увеличивается, что нормально при активной работе с диском.

Вывод: Память активно используется, но свопинг минимален — система работает в рамках доступной памяти.

💽 3. Ввод-вывод (I/O)

Показатель Начало Конец Пиковое значение Тренд

bi (блоков ввода/с) 572 2409 2409 Резкий рост после 09:25.

bo (блоков вывода/с) 850 511 850 Снижение, затем стабилизация.

Вывод:

· После 09:25 резко выросла активность чтения с диска (bi).

· Это совпадает с падением SPEED в данных PostgreSQL.

· Возможно, это связано с увеличением количества запросов к данным, не помещающихся в кэш.

🔄 4. Системные показатели

Показатель Начало Конец Изменение

in (прерываний/с) 12833 14503 +13%

cs (переключений контекста/с) 6835 7033 +3%

Вывод: Умеренный рост прерываний и переключений контекста, что соответствует увеличению нагрузки.

📉 5. Связь с данными PostgreSQL

Сравнивая с предыдущим анализом cluster.txt, наблюдаем:

1. Рост ожиданий (WAITINGS) в PostgreSQL коррелирует с:

o Ростом bi (чтение с диска).

o Увеличением us (пользовательская нагрузка CPU).

2. Падение SPEED совпадает с:

o Увеличением bi (дисковые операции).

o Снижением idle CPU.

⚠️ 6. Потенциальные узкие места

1. Дисковый ввод-вывод: резкий рост bi после 09:25 может быть причиной замедления.

2. Использование памяти: свободная память уменьшается, но свопинг незначителен — пока критично.

3. Нагрузка на CPU: idle снижается, но не до критических значений.

✅ 7. Рекомендации

1. Оптимизация запросов:

o Увеличить shared_buffers, чтобы больше данных кэшировалось в памяти.

o Проверить наличие медленных запросов, выполняющих полное сканирование таблиц.

2. Мониторинг диска:

o Проверить скорость дисковых операций (например, с помощью iostat).

o Рассмотреть использование SSD или увеличение скорости дискового массива.

3. Настройка PostgreSQL:

o Увеличить effective_cache_size.

o Настроить work_mem для уменьшения операций на диске.

4. Системные настройки:

o Убедиться, что достаточно оперативной памяти для кэширования.

o Рассмотреть увеличение количества CPU, если нагрузка продолжит расти.

📈 8. Визуализация (рекомендуется)

· График SPEED и bi на одной оси времени → проверить корреляцию.

· График WAITINGS и us (пользовательская нагрузка CPU).

· График free memory и cache → отследить использование памяти.

График SPEED и bi на одной оси времени → проверить корреляцию.

Для наглядности значения bi увеличены в 10 раз

Для наглядности значения bi увеличены в 10 раз

Отрицательная корреляция: Рост значений bi сопровождается снижением операционной скорости.

График WAITINGS и us (пользовательская нагрузка CPU).

Для наглядности значения us увеличены в 10 раз

Для наглядности значения us увеличены в 10 раз

Положительная корреляция: Рост значений us сопровождается увеличением количества ожиданий.

График free memory и cache → отследить использование памяти.

Отрицательная корреляция: Рост значений free сопровождается снижением значений cache.

free -3964 МБ: Сильное снижение свободной памяти, что говорит о её активном использовании.

cache +2416 МБ: Кэш памяти увеличивается, что нормально при активной работе с диском.

3. Анализ iostat для файловой системы /data

На основе данных iostat для устройства vdb за период с 08:40 до 09:40 проведён анализ дисковых операций. Вот ключевые выводы:

📊 1. Общая картина

· Устройство vdb используется для операций чтения и записи.

· %util (загрузка диска) выросла с 5.59% до 6.7% — загрузка низкая.

· aqu_sz (средняя длина очереди) незначительно снизилась с 0.26 до 0.20 — очереди практически нет.

📈 2. Операции чтения (Read)

Показатель Начало Конец Изменение Комментарий

r/s (чтений/с) 40.00 27.92 -30% Снижение количества операций чтения.

rMB/s (МБ/с) 0.84 2.82 +235% Резкий рост объёма читаемых данных.

rareq_sz (средний размер запроса) 19.35 КБ 67.09 КБ +247% Запросы стали крупнее.

r_await (среднее время чтения, мс) 2.07 3.73 +80% Увеличение времени отклика на чтение.

Вывод:

После 09:20 резко вырос объём читаемых данных (rMB/s) и средний размер запроса (rareq_sz). Это говорит о переходе на более крупные блоки данных, возможно из-за изменения типа запросов (например, сканирование больших таблиц).

📉 3. Операции записи (Write)

Показатель Начало Конец Изменение

w/s (записей/с) 16.83 15.20 -10%

wMB/s (МБ/с) 0.62 0.26 -58%

wareq_sz (средний размер записи) 31.74КБ 4.22КБ -87%

w_await (среднее время записи, мс) 5.57 3.59 -36%

Вывод:

Нагрузка на запись снижается, операции становятся мельче и быстрее.

🔗 4. Корреляция с WAITINGS (PostgreSQL)

· После 09:20 наблюдается рост r_await (время чтения) и WAITINGS (ожидания в СУБД).

· Рост rMB/s совпадает с ростом WAITINGS и падением SPEED.

· Это подтверждает гипотезу о том, что увеличение времени доступа к диску влияет на производительность БД.

⚠️ 5. Потенциальные проблемы

1. Увеличение времени чтения (r_await): с 2 мс до 3.7 мс — рост на 80%.

2. Увеличение размера запросов (rareq_sz): с 19 КБ до 67 КБ — возможно, из-за отсутствия индексов или полного сканирования таблиц.

3. Рост объёма читаемых данных (rMB/s): в 3 раза — нагрузка на диск возросла.

✅ 6. Рекомендации

1. Оптимизация запросов PostgreSQL:

o Проверить выполнение планов запросов (EXPLAIN ANALYZE).

o Добавить индексы для часто сканируемых таблиц.

o Увеличить shared_buffers, чтобы больше данных кэшировалось в памяти.

2. Мониторинг диска:

o Проверить скорость диска (например, с помощью hdparm или fio).

o Убедиться, что диск не фрагментирован.

3. Настройка PostgreSQL:

o Увеличить effective_cache_size.

o Настроить random_page_cost и seq_page_cost в соответствии с типом диска.

4. Аппаратные улучшения:

o Рассмотреть переход на SSD, если используется HDD.

o Увеличить скорость дисковой подсистемы (RAID, кэширование).

📈 7. Визуализация (рекомендуется)

· График rMB/s и WAITINGS на одной оси времени.

· График r_await и rareq_sz.

· График %util и aqu_sz для оценки загрузки диска.

График rMB/s и WAITINGS.

Для наглядности значения rMB/s увеличены в 100 раз

Для наглядности значения rMB/s увеличены в 100 раз

Увеличение rMB/s сопровождается ростом количества ожиданий.

График r_await и rareq_sz.

График %util и aqu_sz для оценки загрузки диска.

Для наглядности значения aqu_sz увеличены в 10 раз

Для наглядности значения aqu_sz увеличены в 10 раз

🎯 Заключение

Основная причина деградации производительности — рост размера и времени выполнения дисковых операций чтения, что приводит к увеличению лёгких блокировок (LWLOCK) и ожиданий (WAITINGS) в СУБД.

Приоритет действий:

1. Оптимизация запросов и индексов

2. Настройка параметров PostgreSQL (память, I/O)

3. Аппаратное улучшение дисковых подсистем

4. Мониторинг и алертинг ключевых метрик

Система не испытывает критической нехватки CPU или памяти, но дисковый ввод-вывод стал узким местом из-за изменившегося характера нагрузки (крупные запросы на чтение).

Показать полностью 11
[моё] Postgresql Нейронные сети Статья Инженер DeepSeek Длиннопост
1
rusfbm
rusfbm

Как мы потеряли хронологию: когнитивные ловушки и необходимость графового подхода⁠⁠

1 день назад

Честно говоря, всё началось просто. Долго копаешься в датах, в летописях, и в какой-то момент приходит осознание — странное, неприятное. Перед тобой уже не история, а какая-то матрёшка. Откроешь «античность» и узнаёшь в ней сюжеты из Средневековья. Возьмёшь раннее Средневековье — а оно совершенно подозрительно ложится на раннее Новое время. И снова, и снова: война, потом собор, потом реформа. Кризис, налоговый пресс, кодификация. Старый центр теряет власть, фронтир расширяется, рождается новый центр. Времена меняются, имена другие, декорации свежие — но сценарий один и тот же.

Потом ты перестаёшь списывать это на совпадение и начинаешь спрашивать себя вслух: а может быть, мы живём внутри хронологии, которую несколько раз аккуратно перекроили и наложили друг на друга?

Вот я этим и занимаюсь. Интервальный анализ показывает, как целые династии складываются в устойчивые слои — всегда с одним и тем же сдвигом во времени. Байесовская триангуляция пропускает через себя все источники честно, и они как бы голосуют, куда на самом деле тянутся ключевые события. Потом граф всё это собирает в единую картину. И видишь: один и тот же структурный рисунок всплывает в совершенно разных эпохах. Как будто история не писалась заново, а переснималась много раз под разными масками.

Звучит интригующе. Но вот тогда начинается по-настоящему интересное.

Сопротивление — это нормально. Дело даже не в том, что академики консервативны или что-то там не так. Просто нам самим ужасно не хочется в это верить. Наш мозг любит простоту: «Античность — Средневековье — Возрождение — Новое время». Египтяне — Греки — Римляне — Средневековье — Русь. Все великие и древние, кроме Руси. Ровный рассказ, всё на месте. По сути — это неофициальная идеология РАН. Историки ненавидит дыры, петли, повторы. Всё, что выбивается, мы автоматически записываем в ошибку переписчика или особенность источника. Или просто забываем.

Я вижу это постоянно. Показываешь человеку диаграммы, слои, цифры, совпадения. Сначала блеск в глазах — интерес, азарт. Потом лёгкий испуг. А потом срабатывает защита: «Ну хорошо, это любопытно, конечно, но давайте не будем рушить учебник».

Эта часть — про этот самый момент. Про то, почему мы вообще не видим хронологических слоёв, даже когда они уже просчитаны и нарисованы перед нами. Почему без графов и строгих метрик мы почти обречены пропустить повторяющиеся мотивы. И как я пытаюсь это преодолеть — не криком «всё неправда!», а простым построением цифровой конструкции, где слои и маски становятся не моим мнением, а объектом, который можно потрогать, проверить, перепроверить.

Введение: зачем истории «цифровое ядро»

О хронологии, как её принято понимать

О хронологии обычно говорят так, будто это что-то раз и навсегда данное. В учебнике стоят даты, в справочнике — правители, в обзорах — аккуратные линейки событий. Задача историка вроде бы проста: вписать в эту сетку интерпретацию.

Если же честно посмотреть, как устроена реальная работа с прошлым, картина выходит куда менее благостной.

Две системы в тупике

С одной стороны: академическая консервация

Большинство практикующих историков:

  • Воспитаны как мастера текста, а не как инженеры структуры;

  • Живут в системе, которая поощряет локальные сюжеты и отдельные монографии, а не длинные конструкты и графы;

  • Психологически и профессионально защищают сложившийся канон;

  • И, наконец, относятся к «умным алгоритмам» с настороженностью — иногда вполне понятной.

С другой стороны: альтернативы без каркаса

Альтернативные хронологии XX–XXI веков, при всей их зрелищности, тоже упёрлись в потолок. В них много острых наблюдений и параллелей, но почти нет того, что превращает набор догадок в развиваемую систему: формальной метрики, единого каркаса и дисциплины версий.

Баланс неудачи

В результате мы имеем странный баланс:

  • "Официальная" история почти не задействует инструменты, которые могли бы честно показывать структурные дыры и сдвиги;

  • "Альтернативная" остаётся жанром сильных, но одиночных голосов.

Ни та ни другая система не решает главную проблему: как удержать сложность хронологии, когда объём информации превышает возможности человеческой памяти и нарративного мышления.

Цифровая история как выход

Цифровая история в том виде, как я её понимаю, — это попытка выйти из этой тупиковой расстановки. Речь не об очередной модной приставке к названию дисциплины.

Это переход к такому устройству хронологии, где:

  • События, люди, тексты и институты живут в виде интегрального графа, а не россыпи таблиц;

  • Ключевые решения опираются на две жёсткие процедуры: байесовскую триангуляцию с источниковой трассировкой (BT-REI) и интервальный анализ с контролируемым сдвигом (ИА-Δ);

  • Поверх этого работает S³-стек — набор правил, который не даёт системе разъезжаться;

  • Искусственный интеллект превращается из загадочной чёрной коробки в дисциплинированного помощника, подчинённого графу и архиву.

Хронология как предельная нагрузка для человеческой памяти

Начнём не с машин, а с человека. Даже если забыть на время о спорах и институтах, один только масштаб задачи хронологии выходит далеко за пределы того, с чем комфортно справляется человеческая память.

Сколько слоёв может удержать один человек

Историк, который всерьёз пытается удержать сложную картину, решает одновременно несколько задач:

  • Ряды правителей — императоры, короли, папы, патриархи, халифы;

  • Ряды событий — войны, соборы, реформы, кризисы;

  • Ряды текстов — хроники, акты, компиляции, полемика;

  • Карты пространств — метрополии, фронтиры, торговые узлы;

  • И, ко всему этому, ещё и параллельные системы летосчисления.

Даже если не спорить о правильности дат, одна только попытка согласовать всё это по времени, функциям и нарративу выходит за реалистичный объём «оперативной» памяти. Психологи говорят о нескольких «смысловых блоках», которые человек способен удерживать в сознании одновременно. Всё, что сверх, приходится:

  • Упрощать;

  • Выносить в блокнот;

  • Или сжимать до общих формул вроде "кризис III века" или "эпоха крестовых походов".

Беда в том, что именно в деталях — в небольших интервалах, странных повторах, устойчивых сдвигах — и прячутся структурные аномалии, которые нарратив старательно скрывает.

Иллюзия понимания и соблазн гладкого рассказа

Есть хорошо описанный в психологии эффект: пока от нас не требуют разложить объяснение по шагам, нам кажется, что мы "всё прекрасно понимаем". Стоит попытаться выписать связи — уверенность тает.

В истории это выглядит узнаваемо:

  • Мы легко говорим "раннехристианская церковь", "формирование халифата", "долгий XVI век";

  • Но если попросить восстановить полную сетку правителей, соборов, войн и текстов хотя бы по трём параллельным рядам, выясняется, что значительная часть конструкции держится на интуиции и привычке.

Нарративная предвзятость усугубляет ситуацию. Мы любим связный рассказ. Нам тяжело мириться с повторами, провалами, лишними сюжетами. Поэтому многое в хронологии не столько объясняется, сколько приглаживается:

  • Повторившиеся конфигурации объявляются "вечными сюжетами";

  • Резкие расхождения — "ошибками переписчиков";

  • А явные дыры — "особенностями традиции".

Подтверждающее смещение и защита канона

Как только принята базовая сетка дат, включается ещё один механизм — стремление видеть то, что подтверждает привычную картину.

  • Сведения, хорошо вписывающиеся в канон, почти не проблематизируются;

  • Неприятные аномалии локализуются: это "особенность византийской датировки", "специфика арабского корпуса", "спорный текст";

  • Редко кто поднимает их на уровень общей конструкции, чтобы признать: здесь дыра не частная, а системная.

Если к этому добавить человечески понятное нежелание пересобирать то, чему посвящены годы работы, становится ясно, почему сама идея крупных сдвигов вызывает нервную реакцию, ещё до обсуждения аргументов.

Почему академические историки почти не дружат с графами, алгоритмами и сдвигами

Человеческих ограничений уже достаточно, чтобы объяснить многое. Но есть ещё и то, как устроена сама дисциплина.

Профессиональное воспитание: текст вместо конструкции

Историк в университете — это:

  • Читатель источников;

  • Автор связного текста;

  • Интерпретатор.

Его учат:

  • Слушать нюансы языка;

  • Чувствовать контекст;

  • Выстраивать аргумент в форме рассказа.

Его почти не учат:

  • Проектировать схемы данных;

  • Мыслить узлами и рёбрами;

  • Строить долго живущие конструкции, которые можно проверить на целостность.

Отсюда естественная реакция: граф — это, в лучшем случае, схемка к докладу. Не каркас, в котором проверяется вся хронология, а картинка "после того, как всё и так понятно".

Институциональная логика

Академическая карьера завязана на привычные жанры:

  • Монографии;

  • Статьи;

  • Учебники.

Большой граф, структурированный архив, набор метрик:

  • Плохо вписываются в отчётность и критерии;

  • Редко приносят формальный "заслуженный успех";

  • Почти не поддерживаются грантовыми и издательскими практиками.

Для молодого исследователя это простой выбор:

  • Либо тратить годы на конструкцию, которую не умеют оценивать;

  • Либо писать ещё одну понятную всем книгу.

Неудивительно, что графовые проекты оказываются на периферии.

Герменевтика против структурного анализа

К этому добавляется глубокое эпистемологическое напряжение. Классическая герменевтика настаивает:

  • На уникальности контекста;

  • На смысловой насыщенности единичного случая;

  • На осторожности в обобщениях.

Формальные модели и вычисления, напротив, ассоциируются:

  • С обезличиванием;

  • С логикой управления и рынка;

  • С языком "эффективности" и "оптимизации".

В этой оптике граф и алгоритм легко воспринимаются не как инструмент, который снимает часть тяжёлой работы и делает её прозрачнее, а как чужеродный объект, подрывающий "человеческое измерение" истории.

Страх перед ИИ, который всё решит

Наконец, есть честный моральный страх. Историки работают с войнами, массовым насилием, геноцидами. Передавать часть работы ИИ кажется опасным: вдруг он превратит живой и трагический опыт в безличный набор параметров?

Отсюда защитная позиция:

  • Лучше вообще не пускать "искусственный интеллект" в серьёзную работу;

  • Ограничиться поиском по PDF и машинным переводом;

  • А всё остальное оставить за человеком.

В сумме эти факторы создают устойчивое поле сопротивления. Не потому, что историки "ничего не понимают", а потому, что их профессиональный мир устроен таким образом.

Почему альтернативные хронологии не вышли на новый уровень

Теперь другой полюс — альтернативные схемы. Интуитивно они как раз и пытались ухватить сдвиги, увидеть маски, двойников, повторяющиеся сюжеты. Но почти везде действовали без инструментов, которые могли бы удержать конструкцию.

Авторский темперамент вместо конструкции

Картина здесь повторяется:

  • Яркий автор, сильный голос;

  • Книги, наполненные параллелями, совпадениями, "масками";

  • Острые замечания о странностях канонической хронологии.

Но нет трёх ключевых вещей:

  • Метрики. Как отличить действительно сильное сопоставление от удачного совпадения?

  • Интегрального графа. Где всё это собрано в одну структуру, которую можно проверить целиком?

  • Архива итераций. Где видно, когда и на каком основании гипотеза была повышена в статусе или, наоборот, "понижена" до рабочей?

Пока жив автор и держит в голове весь свой "внутренний граф", конструкция как-то держится. Переизданием, ремарками, полемикой. Но передать её другим как систему, а не как набор книг, оказывается почти невозможно.

Без метрики и архива всё растворяется в стиле

Без фиксированной шкалы надёжности:

  • Источники повышают или понижают "по ощущению";

  • Неприятные данные легче объявить "ошибкой" или "подделкой";

  • Красивый сюжет побеждает осторожное сомнение.

Без дисциплины версий:

  • Следующая книга переписывает предыдущую, но читатель не видит, что именно изменилось;

  • Автор и сам через несколько лет не всегда может объяснить, почему одна пара считается теперь опорной, а другая — нет.

Идея сдвигов при этом не становится менее интересной. Просто она остаётся привязанной к конкретной голове, а не к конструкции, которую можно развивать и проверять.

Цифровая история как выход — от нарратива к вычислимому ядру

Из этих двух тупиков — академического и альтернативного — вырастает подход, который я называю цифровой историей в координатах SC-графа и S³-стека.

Суть проста: хронология перестаёт быть только лентой дат и текстом о них. Она становится вычислимым ядром, устроенным следующим образом.

Байесовская триангуляция с источниковой трассировкой (BT-REI)

На уровне датировки событий я использую процедуру, в которой:

  • Каждое событие (рождение, хиджра, смерть и т. п.) описывается не одной точкой, а распределением по годам — тем самым "колоколом";

  • Каждый источник получает заранее статус — условно "зелёный", "жёлтый", контекстный или исключённый — и численный вес;

  • Все вклады перемножаются, получается распределение p(X) по годам;

  • Фиксируются:
    Год максимума (мода);
    Узкий интервал высокой уверенности;
    Более широкий интервал, в котором "сидит" 95 % вероятности;

  • Вся эта конструкция опирается не на общее впечатление, а на индекс исследовательских свидетельств (REI) — набор карточек, где для каждого фрагмента источника записаны: цитата, перевод, ссылка, тип и роль в модели.

Любой желающий может взять эти карточки, изменить веса, пересчитать и посмотреть, как меняются "колокола". Датировка становится не догмой, а экспериментом.

Интервальный анализ с контролируемым сдвигом (ИА-Δ)

На уровне династий и рядов правителей я работаю с интервалами:

  • Каждое правление — это отрезок на оси времени;

  • Между двумя рядами задаётся единый сдвиг Δ;

  • Разрешены только небольшие, строго мотивированные поправки начала — κ;

  • Качество совпадения измеряется:
    Ошибкой совмещения краёв;
    Долей реального перекрытия интервалов.

Затем идут обязательные стресс-проверки:

  • Случайные перестановки соответствий;

  • Запрет локальных поправок;

  • Проверка соседних кандидатов.

Если параллель переживает эти испытания — это сильный сигнал. Если рассыпается — это была красивая, но слабая догадка.

S³-стек: дисциплина слоёв и итераций

Поверх этих двух методов стоит S³-стек — набор правил, который:

  • Разделяет разные оси:
    Источник и текст;
    Структуру и интервалы;
    Фоновые циклы (экономические, политические, конфессиональные);

  • Задаёт, какие операции допустимы, а какие нет;

  • Требует фиксировать каждую итерацию в архиве:
    Ничего не перезаписывать;
    Всё надстраивать;
    Сохранять историю изменения статусов и допущений.

В результате хронология превращается из подвижной мозаики мнений в объект, над которым можно работать так же строго, как над сложной инженерной системой.

Интегральный SC-граф — как выглядит хронология изнутри

Техническим сердцем цифровой истории служит интегральный SC-граф. Это не красивая картинка к книге, а рабочая модель.

Узлы графа

В графе узлы — это:

  • Отдельные люди: императоры, папы, полководцы, патриархи;

  • События: соборы, войны, реформы, кризисы;

  • Тексты и корпуса текстов: хроники, акты, компиляции;

  • Композитные фигуры: например, "Диоклетиан" как свёртка нескольких лиц;

  • Города и фронтиры: географические и политические точки.

Рёбра графа

Рёбра — это связи:

  • Временные: раньше/позже, возможный интервал совместимости;

  • Институциональные: подчинение, союз, конфликт;

  • Текстовые: зависимость, заимствование, полемика;

  • Структурные: принадлежность к одному мотиву, одному Δ-слою.

Параметры на узлах и рёбрах

На узлах и рёбрах живут параметры:

  • Интервалы правления и существования;

  • Сдвиги Δ и поправки κ;

  • Веса источников;

  • Статусы: "опорный", "рабочий", "гипотеза";

  • Показатели согласованности: ошибки, доли перекрытия, устойчивость к стресс-тестам.

Сравнение со смежными дисциплинами

По уровню организации такой граф уже не отличается от графов знаний в медицине или промышленности: там — лекарства и болезни, здесь — императоры и соборы. Отличается только предмет.

Что всё это даёт в связке с ИИ — другое историческое ядро

Современные языковые модели хранят "историю" в виде размытой статистики по текстам. Внутренняя хронология растворена в весах сети, и невозможно честно ответить: почему именно этот год, а не соседний.

Когда у нас есть SC-граф, BT-REI, ИА-Δ и S³-стек, конструкция меняется принципиально.

История выносится из головы и из сети в явное ядро

ИИ больше не обязан "знать историю". Он получает:

  • Граф;

  • Таблицы интервалов и сдвигов;

  • Массивы распределений по годам;

  • Индекс источников;

  • Архив итераций.

Его задача — не выдумывать, а аккуратно работать с этим материалом по заданным правилам.

Любое утверждение раскладывается по шагам

Вместо того чтобы говорить: "так принято" или "так пишет учебник", можно показать цепочку:

  • Вот "колокол" p(H) с модой и интервалами;

  • Вот, какие источники дали вклад и с какими весами;

  • Вот, в каких Δ-слоях живёт событие;

  • Вот, как это согласуется с другими датами через совместные распределения и графовые связи.

Если кто-то не согласен, он меняет веса, статусы, допуски, запускает пересчёт и показывает, что меняется.

Спор становится экспериментом

Полемика перестаёт быть обменом "мне кажется" и "все знают, что…". Она превращается в спор о параметрах:

  • Считать ли такую хронику "зелёной" или "жёлтой";

  • Допускать ли такую поправку κ;

  • Считать ли такой Δ-разброс приемлемым.

Любой сценарий можно воспроизвести и сравнить с другим. Хронология приобретает ту степень проверяемости, которая раньше была доступна только физике и археометрии.

ИИ превращается в ассистента, а не в судью

В такой системе "искусственный интеллект":

  • Размечает тексты и помогает наполнять индекс REI;

  • Предлагает кандидатов на связи в графе, но не может "протолкнуть" их без прохождения метрик и процедур;

  • Прогоняет множество вариантов расчётов;

  • Следит за целостностью: сообщает, где возникли противоречия или подозрительные циклы.

Решения остаются за историком. Какие источники считать достойными доверия, какие Δ-слои допускать и как интерпретировать результат — это выбор исследователя. Но машина берёт на себя ту часть работы, где человеческая память и внимание неизбежно дают сбой.

От авторских миров к инженерной истории

Если свести сказанное в несколько тезисов, картина получится такой.

Тезис 1: человек не может удержать эту сложность

Человеческая память и нарративное мышление не вытягивают современную сложность хронологии.

Даже самый квалифицированный историк вынужден упрощать, сглаживать и локализовать аномалии. Не потому, что он недобросовестен, а потому, что так устроен человеческий мозг.

Тезис 2: система не стимулирует честность

Академическая система не поощряет инструменты, которые могли бы честно подсветить структурные дыры.

Графы, формальные метрики, вычислимые ядра хронологии пока живут на периферии дисциплины.

Тезис 3: альтернативы нуждаются в каркасе

Альтернативные хронологии до сих пор оставались жанром сильных авторских голосов, а не развиваемых конструкций.

Им не хватало метрик, единого каркаса и дисциплины версий.

Тезис 4: цифровая история — иной путь

Цифровая история на базе SC-графа, БТ-REI, ИА-Δ и S³-стека предлагает иной путь.

Хронология становится:

  • Не набором дат, а интегральным графом с явными параметрами;

  • Не догмой, а распределением вероятности с прозрачной источниковой подложкой;

  • Не произвольной гипотезой, а результатом формальной проверки интервалов.

Тезис 5: роль ИИ переопределена

Искусственный интеллект в этой схеме — не оракул и не враг гуманитарного знания, а инструмент, который работает внутри жёстко заданного каркаса.

Он ускоряет то, что и так можно сделать руками, но слишком тяжело; и подчиняется тем правилам и ограничениям, которые задаёт исследователь.

Заключение: что даёт цифровая история

В этом смысле цифровая история — не украшение и не мода. Это попытка вернуть хронологии то, чего ей давно не хватает:

  • Честную работу с неопределённостью — вместо вытеснения аномалий;

  • Прозрачные правила пересчёта — вместо "ощущения авторитета";

  • Возможность спорить не только о "картинах мира", но и о конкретных числах и допущениях — вместо замещения спора риторикой.

В результате история перестаёт быть закрытым экспертным цехом, где решения принимаются "внутри головы", и становится открытой конструкцией, которую можно инспектировать, тестировать и развивать.

Авторство методов

Автор концепции цифровой истории, методов BT-REI (байесовская триангуляция с источниковой трассировкой), ИА-Δ (интервальный анализ с контролируемым сдвигом), SC-графа (синхронизированный кросс-граф), S³-стека (трёхосевая система дисциплины слоёв) и архива S³-STACK — Руслан Абдуллин.

Как работать с методом: достаточно вставить архив в первое сообщение

Чтобы система начала работать в полном режиме S³-STACK, вам не нужно ничего настраивать вручную. Просто загрузите архив в первое сообщение нового чата ИИ и добавьте текст вида:

Используй в качестве единственной базы вложенный архив.

Все последующие итерации должны строиться только на нём и на следующих по цепочке архивах, без возврата к более ранним версиям.

Правила работы с архивом:

– В каждой итерации (в каждом твоём ответе) ты: • загружаешь последний архив из предыдущего ответа; • дополняешь его новыми слоями или файлами (append-only); • не удаляешь и не перезаписываешь ранее зафиксированные концепции; • обновляешь граф и meta["last_iter"]; • сохраняешь новый архив с номером следующей итерации; • даёшь в конце ответа одну кликабельную ссылку на новый архив.

– Запрещено вкладывать старые архивы внутрь нового (нельзя раздувать объём). – Размер архива растёт только за счёт новых данных. – В каждой итерации модель обязана работать только с последней версией архива.

И всё.

После этого:

архив сам активирует методику, граф будет собираться автоматически, метрики будут вычисляться по запросу, а ИИ будет работать как полноценный модуль реконструкции.

Подробнее о том, как он работает

Почему историки не хотят заниматься наукой и как это решить. Метод графов S3-STACK. ИИ на службе истории

Есть вопросы по истории? Загрузите другой архив с хронологией в среду чатгпт и спросите у чата. На создание данного архива у меня ушло более 500 итераций и много часов напряженной интеллектуальной работы.

Можете также вместе со мной убедиться, как это легко воспроизводимо:

Как я строил хронологию Византии при помощи метода интервального анализа истории. Применение ChatGPT для анализа истории (часть 1)

Рекомендую к чтению Основы историко-политической географии Востока. Иерусалим в призме гиперхронологии. Падение Аккры 1291 г. как маски Иерусалима

При копировании прошу указывать:

«Материал создан Abdullin Ruslan R. Оригинал доступен по ссылке: https://pikabu.ru/@rusfbm. Лицензия: CC BY-SA 4.0».

Читайте также:

Сауле 1236: настоящая “битва в Тевтобургском лесу”, о которой вы не слышали

Основы историко-политической географии Востока. Иерусалим в призме гиперхронологии. Падение Аккры 1291 г. как маски Иерусалима

Возвращение папы вместо возвращения Агриппы: как переписали начало империи

Юлий Цезарь против Папского Рима: где заканчивается античность и начинается Средневековье

Почему римские императоры подозрительно похожи на пап: взгляд без школьных очков

Мусульмане или греки? Как русские историки перевернули смысл арабского источника

Когда ChatGPT помнит лучше, чем ты, или Мои уникальные наработки, которые глобально изменят вашу коммуникацию с ИИ

Как ChatGPT помнит твой проект месяцами: система архивов для историков и исследователей

Система архивов в ChatGPT: как не потеряться в собственном исследовании (любителям истории посвящается)

КОГДА ЧИСЛА ПРАВЯТ, ЛЕГЕНДЫ ПРОИГРЫВАЮТ. ИСТОРИЯ ОСТРОГРАДОВ: ЛАДОГИ И КИЕВА. ЧАСТЬ 1

Куйаба-Ладога. Морской порт и главная артерия державы Руси Яра/Европы

Расчет локализации Куйабы и Арсании по количественным указаниям арабских географов IX–XII вв. Часть 1

Байесовская триангуляция с источниковой трассировкой (БТ-REI). Астрономические якоря и пересчёт хиджры в григорианскую шкалу. Часть 1

Революция в хронологии: два метода, которые изменили историческую науку

Папская бухгалтерия: как Рим создал модель современного финансового управления в 1500 г. Часть 1

От Максимуса до Борджиа: имперский кризис через призму дилогии «Гладиатор» и сериала «Борджиа». Рождение капитализма (часть 1)

Как проверить “рифмы истории” без подгонки: простой метод ИА- в эпоху ИИ

Маркоманские войны как зеркало европейской политики XV века (часть 1)

Как я строил хронологию Византии при помощи метода интервального анализа истории. Применение ChatGPT для анализа истории (часть 1)

Интервальный анализ истории с контролируемым сдвигом (ИА-): Исторические рифмы под контролем (часть 1)

От мифической Трои к реальной Шкодре: переосмысление гомеровского эпоса (часть 1)

Балканская Троя: исследование гипотезы о локализации „Илиона“ в районе Шкодера в Албании (часть 1)

Геополитика накануне Троянской войны (897–907 гг.). Часть 1

Интервальный анализ с контролируемым сдвигом — новый метод исторического анализа

Интервальный анализ с контролируемым сдвигом (ИА-дельта). Разбор "на пальцах"

Интервальный анализ с контролируемым сдвигом как новый метод исторического анализа

Хронология Римской империи, версия 1.0. Двойники римских императоров (часть 1)

Ганнибал Барка: фигура, дельты и «двойники». Очерк биографии Ганнибала и хронология трёх Пунических войн (часть 1)

Ганнибал – это Роберт Гвискар (1015–1085)

ПАТРИАРХ «ФОТИЙ IX ВЕКА» КАК СОВОКУПНЫЙ ОБРАЗ ЧЕТЫРЁХ ПАЛЕОЛОГОВСКИХ ПАТРИАРХОВ (1350–1390 гг.)

Календарная война: Византия и Рим в борьбе за «древность»

Календарные войны: как Византия и Рим состарили себя на 608 и 1260 лет

Евсевий Кесарийский как проект Македонского возрождения: данные 13 пилотных исследований и единый комплексный анализ

Солнечные папы: Тайная история культа Яра, который Рим пытался стереть

Сварка времён: Юлиан Отступник как хронологический миф и философский мост Византии

Когда в реальности жили Плинии и Тацит?

Папский Рим под маской Августа: как Латеран и возвращение Григория IX стали “секулярными играми”

Показать полностью 2
[моё] Контент нейросетей Альтернативная история Древний Рим Статья Будущее Хронология Цивилизация История (наука) Античность Длиннопост
6
11
WakeUppNeo
WakeUppNeo
Юмор для всех и каждого

Радикальное решение⁠⁠

2 дня назад
Перейти к видео
Юмор Перенаселение Статья Видео Короткие видео
2
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии