Внимание! Регламентные работы

Обсуждение истории и краеведческих вопросов и материалов о Зеленогорске/Териоках и окружающей местности

Модераторы: автодоктор, Vladimir S. Kotlyar

Ответить
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Osbourne писал(а): Вт ноя 05, 2024 9:49 pm Напишу сюда. В последнее время в поиске на форуме появилась принудительная задержка секунд на 20. Не сделать новый запрос в поиске и даже в том же запросе не открыть следующую страницу.
Ничего не делал с форумом вообще. Но, Вы не первый, кто на это жалуется. Посмотрю, что могло случиться.
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

abravo писал(а): Вт ноя 05, 2024 10:07 pm
Osbourne писал(а): Вт ноя 05, 2024 9:49 pm Напишу сюда. В последнее время в поиске на форуме появилась принудительная задержка секунд на 20. Не сделать новый запрос в поиске и даже в том же запросе не открыть следующую страницу.
Ничего не делал с форумом вообще. Но, Вы не первый, кто на это жалуется. Посмотрю, что могло случиться.
Посмотрел в настройки форума. Там, действительно, есть такой параметр:
Интервал между поисковыми запросами:
Время в секундах, которое пользователь должен выждать перед выполнением следующего поискового запроса. Этот интервал проверяется для каждого пользователя.

И был он задан 30 сек.
Возможно, это появилось при последнем обновлении форума, но это было год назад, если не больше. И это значение по умолчанию, я его никогда раньше не задавал.
Поменял на 10 сек. Проверяйте :)

Кстати для незарегистрированных гостей этот интервал был задан в 60 сек. Уменьшил до 30.
Аватара пользователя
Osbourne
Сообщения: 5680
Зарегистрирован: Вт дек 09, 2008 5:24 am
Откуда: Vanha Valkeasaari

Re: Внимание! Регламентные работы

Сообщение Osbourne »

abravo писал(а): Вт ноя 05, 2024 10:25 pm Поменял на 10 сек. Проверяйте :)
Спасибо. Да, теперь 10. Но ранее этого ограничения вообще не замечал. Как будто его не было. Хотя поиском пользуюсь очень часто.
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Osbourne писал(а): Ср ноя 06, 2024 12:14 am
abravo писал(а): Вт ноя 05, 2024 10:25 pm Поменял на 10 сек. Проверяйте :)
Спасибо. Да, теперь 10. Но ранее этого ограничения вообще не замечал. Как будто его не было. Хотя поиском пользуюсь очень часто.
Следствие показало, что это наши не совсем согласованные действия (мои и брата). Мы тут больше месяца боролись с запредельной нагрузкой на сервер и много где чего крутили. Оказалось, что не всегда согласовано.
Просто к сведению. Нагрузку на сервер создают не обычные посетители, а поисковые боты. Можно доступ ботов легко заблокировать, но тогда никто, кроме постоянных посетителей сайта, на нем ничего не найдет. А боты периодически очень агрессивно "шерстят" весь сайт, в том числе форум и галерею, где огромное число страниц. Поскольку форум и галерея, а также многие другие страницы сайта, включая главную, завязаны на базу данных, а отдельного сервера для базы у нас нет (чтобы разгрузить основной сервер), то такие "набеги" ботов базу "кладут на лопатки".
Мы сейчас для главной страницы сайта и некоторых других страниц внедрили весьма прогрессивную систему кэширования, которая на порядок сокращает число обращений к базе данных, и это сразу дало заметный эффект. Плюс "крутили" разные настройки и самой базы данных, и форума, побочным эффектом чего и стал вот этот эффект с поиском. В принципе, если 10 секунд тоже неудобно, можно сделать еще меньше, но я бы пока оставил так.
Аватара пользователя
Osbourne
Сообщения: 5680
Зарегистрирован: Вт дек 09, 2008 5:24 am
Откуда: Vanha Valkeasaari

Re: Внимание! Регламентные работы

Сообщение Osbourne »

Я так и подумал, что это против нагрузки. Но решил что это не вы, а кто-то другой. :D Потому что вы обычно предупреждаете. :wink: 10 секунд вполне терпимо.
Аватара пользователя
Скаут
Сообщения: 201
Зарегистрирован: Вс июн 24, 2018 12:25 pm
Защита от спама: Нет
Откуда: Санкт-Петербург

Re: Внимание! Регламентные работы

Сообщение Скаут »

abravo писал(а): Ср ноя 06, 2024 9:29 am ...
Просто к сведению. Нагрузку на сервер создают не обычные посетители, а поисковые боты. Можно доступ ботов легко заблокировать, но тогда никто, кроме постоянных посетителей сайта, на нем ничего не найдет. А боты периодически очень агрессивно "шерстят" весь сайт, в том числе форум и галерею, где огромное число страниц. Поскольку форум и галерея, а также многие другие страницы сайта, включая главную, завязаны на базу данных, а отдельного сервера для базы у нас нет (чтобы разгрузить основной сервер), то такие "набеги" ботов базу "кладут на лопатки".
...
Выявлена ли закономерность в "приливах" и отливах" активности поисковых ботов по времени?
Spiritus flat, ubi vult.
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Скаут писал(а): Ср ноя 06, 2024 12:29 pm Выявлена ли закономерность в "приливах" и отливах" активности поисковых ботов по времени?
Гугл приходит примерно раз в неделю. Яндекс реже. Поэтому или нет, но гугл наши материалы ищет лучше яндекса.
И мы изменили схему "предварительного" информирования гугла и яндекса. Есть такая штука - sitemap (карта сайта). Когда-то мы сделали, чтобы она формировалась автоматически. Это была ошибка. Автомат нагенерил огромное число (сотни тысяч!) совершенно липовых ссылок, а поисковики в них тупо долбились. Генеря, помимо всего прочего, гигабайтные логи с ошибками сервера. Сейчас автоматически созданные sitemap убраны, а гуглу и яндексу подсовываются файлы, которые по последним обновлениям генерят форум и галерея, и я руками по последним обновлениям на сайте. Это не отменяет тотальный обход сайта поисковиками, но ускоряет индексацию новых материалов.
Аватара пользователя
Скаут
Сообщения: 201
Зарегистрирован: Вс июн 24, 2018 12:25 pm
Защита от спама: Нет
Откуда: Санкт-Петербург

Re: Внимание! Регламентные работы

Сообщение Скаут »

Я тут глянул график активности Wayback Machine в отношении сайта "Терийоки".
Непонятный ажиотаж в 2022 году в общем и в марте 2022 года в частности.
С чем связано - Бог весть...
Spiritus flat, ubi vult.
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Коллеги, добрый вечер.

Я планирую сегодня обновить движок форума. Точное время сказать не могу, но постараюсь этим вечером. Если увидите, что форум не работает, не пугайте, держите пальцы крестиком :) , в теории процесс должен занять не более получаса, если не будет неожиданностей.
После обновления интерфейс будет на английском, русский язык я быстро для всех верну, самим ничего делать не надо.

Дополнение: на 19:56 основное обновление выполнено. Должно все работать, мелкие детали докую после валерианки :)
Аватара пользователя
Osbourne
Сообщения: 5680
Зарегистрирован: Вт дек 09, 2008 5:24 am
Откуда: Vanha Valkeasaari

Re: Внимание! Регламентные работы

Сообщение Osbourne »

Стрелочки в цитатах новые! :bp:
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Osbourne писал(а): Ср янв 08, 2025 9:23 pm Стрелочки в цитатах новые! :bp:
И правда :) Я не обратил внимание.
Значит что-то обновилось действительно :)
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Коллеги, я прошу прощения за сегодняшний "простой". Сайт не работал с утра до примерно 18:30 по причине неожиданных (для меня), но необходимых, технических работ на сервере.
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Коллеги, сегодня примерно с 14:00 у нас запланирован серьезный и очень нервический апгрейд сервера.
С начала работ и часа два-три сайт работать не будет, об окончании работ я здесь сообщу. Возможны разнообразные глюки, которые будем устранять по мере выявления.
Для тех, кого интересуют технические подробности - апгрейд с Linux Debian 11 на Linux Debian 12. Самое главное для нас изменение, это переход с версии PHP 7.4 на PHP 8.2 (PHP это такой язык, на котором у нас написано все, и галерея, и форум, и все страницы сайта), вот с этим PHP основные потенциальные грабли и связаны.
Аватара пользователя
Osbourne
Сообщения: 5680
Зарегистрирован: Вт дек 09, 2008 5:24 am
Откуда: Vanha Valkeasaari

Re: Внимание! Регламентные работы

Сообщение Osbourne »

Если бы можно было бы сделать так, что не надо было бы уменьшать фото, а они уменьшались бы автоматом - было бы здорово. Остальное для пользователя не заметно. 8)
Аватара пользователя
abravo
Site Admin
Сообщения: 32131
Зарегистрирован: Ср дек 24, 2003 12:35 pm
Откуда: Зеленогорск/Terijoki
Контактная информация:

Re: Внимание! Регламентные работы

Сообщение abravo »

Osbourne писал(а): Пт апр 11, 2025 1:44 pm Если бы можно было бы сделать так, что не надо было бы уменьшать фото, а они уменьшались бы автоматом - было бы здорово. Остальное для пользователя не заметно. 8)
Это надо смотреть в расширениях для движка форума. Сегодняшние работы с этим точно не связаны.
Если мы сегодняшний апгрейд переживем, я посмотрю, есть ли для форума такие решения.
Ответить