нагрузка на сервер MySQL

[Skydreem]

извиняюсь что снова создаю тему, на этот раз полностью пролистал толстую книгу и не нашёл то что искал..
Насчёт системы хотспота, обнаружил нагрузку на мускул и пришел к выводу, что именно это является той самой необьяснимой причиной краха моего сервера и медленной работы базы данных..
Проверили мой сервер, и обнаружили, что у меня постоянно идет какая-то нагрузка на сервер MySQL. Он постоянно пишет на дисковую подсистему данные со скоростью 5-9 Мб/с.
Такая ситуация характерна тогда, когда скрипты очень много пытаются записывать в базу данных (операции INSERT или UPDATE).
Вероятно, это делают всякого рода скрипты статистик и их подобия. В результате получается что MySQL пытается записывать на диск большие порции фрагментированных данных, создавая дикую нагрузку на дисковую подсистему. И в один момент дисковая подсистема не успевает обрабатывать запрос, а MySQL продолжает добавлять данные. Происходит рассинхронизация и, как следствие, сервис MySQL падает. Вот тогда мне и приходится всё переустанавливать и сбрасывать, и задавать глупые вопросы на форуме.
Как облегчить работу сервера и уменьшить запись на диск?

[Dmitry]

извиняюсь, что снова отказываюсь гадать по хрустальному шару!
в прошлой теме были заданы вопросы, ответов на которые не последовало.
в роду кашпировских не имел...

[Skydreem]

В теме по обнулению базы клиентов всё понял, прочитал про импорт пустой базы и все вопросы отпали.
А вот с уменьшением нагрузки на сервер ничего не понятно, тк сервер на столе установлен с нуля, перенесена база клиентов- и понеслась нагрузка на диск. Процессор и использование оперативной памяти в пределах 10%, а дисковая нагрузка больше 60%.
Вот я и спрашиваю- что такого можно отключить, какие скрипты убрать чтобы уменьшить эту нагрузку на дисковую систему..

[Dmitry]

http://wifi-hotspot.zp.ua/forum/viewtop ... 1106#p1106

[alexandrnew]

Skydreem неужели сложно сделать готовым скриптом бекапа два дампа базы, с интервалом в минуту, и увидеть diffом что пишется в базу?

[Skydreem]

Вопрос уже не в размере бэкапа, если что его отредактирую и уберу всё лишнее что касается статистики. Вопрос в том что в пик активности клиентов, когда нагрузка на диск максимальная- начинается запись бэкапа и возможно это служит причиной падения мускула. Разумеется что создание бэкапа я перенесу на ночное время и посмотрю что будет ..
Вы думаете я разбираюсь в этом и пишу эти вопросы просто так, мне разобраться хочется почему при активном подключении 100 клиентов нагрузка достается винчестеру а не вычислительной технике? Выходит, для билинга надо мощный винт а не проц?

[alexandrnew]

посмотрите с чего вы начали топик и к чему пришли....
у меня онлайн более 160 клиентов постоянно - нагрузки на винт особой не вижу. на проц- грузит перл, страница авторизации - так как попыток авторизироваться постоянно более чем дофига...
трафик на отдачу с сервера по веб порту (по сути - только страница авторизации) - около 10гб.... количество запросов в сутки на страницу авторизации - больше 800тыс в сутки.
если вы сами знаете в чем проблема- так чего спрашиваете?
если у вас мускул грузит винт - то определите для начала что в него пишется...

[Dmitry]

Вопрос уже не в размере бэкапа...

А я ссылку давал и не применительно к размерам файлов бакапа. По ссылке было

• во первых вот это:

  .... там бэкапятся не только данные клиентов, но и ещё тонны логов авторизации клиентов, которые....

• а во вторых, два вопроса, на которые вы не ответили.

Далее

если что его отредактирую и уберу всё лишнее что касается статистики. Вопрос в том ....

...что по дефолту в базу НЕ ПИШЕТСЯ НИКАКИХ ТОНН ЛОГОВ АВТОРИЗАЦИИ! Спросите у того же alexandrnew, у которого биллинг (как он сам писал в другой теме) обслуживает три с лишним СОТНИ роутеров: "А пишет ли у вас биллинг в базу тонны логов авторизации?" И почему-то мне кажется, что лично я его ответ ЗНАЮ ЗАРАНЕЕ. А вот откуда в вашем случае взялась вся эта фигня - это и есть тот вопрос, на который нужно найти ответ В ПЕРВУЮ ОЧЕРЕДЬ.

Но, вы ведете себя как мужик из того анекдота, который на приеме у врача, жалуясь на "что-то там", тут же заявляет "Но больное я вам не покажу!". Посему я и говорю - я не кашпировский, по хрустальному шару диагнозы не ставлю.

... мне разобраться хочется почему при активном подключении 100 клиентов нагрузка достается винчестеру а не вычислительной технике? Выходит, для билинга надо мощный винт а не проц?

Потому, что база данных (как ни парадоксально, может быть для вас это звучит) хранится на винчестере. Плюс, все то, что не влазит в буфер сервера баз данных, размещенный в озу, сбрасывается на винт, чтобы данные не были утеряны. И если у вас действительно пишутся туда какие-то, не ясно откуда взявшиеся "тонны логов", то угадать, чему именно достанется львиная доля нагрузки - совсем не сложно...

[alexandrnew]

у меня на текуший момент 380 роутеров-хотспотов.
я например тоже не понимаю - какие тонны логов? у меня логи авторизации только радиуса- и те чистятся и проблемной нагрузки от них вообще нет.. да и в принципе - нагрузки от них не вижу...
в базе - самая крупная таблица - с данными сессий уже авторизированных клиентов...

вообще, как я вижу - слишком много вопросов и нет ответов.
я бы вообще начал с конфига сервера, ос, версий пакетов, вывода топа в период нагрузки, количества запросов в сутки и тд...

[Skydreem]

Как уменьшить прожорливость логов? они создают нагрузку на сервер, превышающую нагрузку от ведения статистики.