Телеграм-чат  
  Черепашки-ниндзя   Портал совмещения измерений  О форуме   Проблема со разрастающимся объёмом вложений
   03.08.2012, 17:49  
Проблема со разрастающимся объёмом вложений
Наверняка многие заметили, что форум последнее время периодически сваливается с ошибкой базы данных. Причина на самом деле не в базе данных, а в том, что у нас постоянно заканчивается место на жёстком диске, а базе данных уже в свою очередь уже некуда вставлять новую текстовую информацию.

На текущий момент вложения содержат в себе 10.646 сообщений форума, общий размер вложений превышает 20 гигабайт.
Общее место на нашем сервере составляет 29 гигабайт, с расчётом до 2 гигабайт на операционную систему сервера, 2 гигабайт на системные операции типа бэкапа и т.д., и на 2 сайта: turtlepower.ru и turtlemania.ru.

Дополнительная расчистка места последнее время даёт запас только на несколько дней, потому что продолжаются массовые вливания огромных фотографий во вложения. Я бы не предъявлял никаких претензий, если бы анализ не показал, что в основном - это вложения в нетематические ветки, которые никто не смотрит (в лучшем случае, смотрит только сам автор поста).

Список самых тяжёлых тем форума:

Код:
select p.threadid, t.title, a.postid, sum(a.filesize+a.thumbnail_filesize)/1024 as size_MB from attachment a join post p on (p.postid = a.postid) join thread t on (t.threadid = p.threadid) group by p.threadid order by size_MB desc;
Тема (id и название) Размер в мегабайтах
5345 Фотогалерея 1313326.9268
3185 Коллекция ARTЁMа 825318.6768
332 Ваши фотки 491561.5107
7814 [БАПА] Фотоконкурс "Активное лето" 442437.4023
5096 DJ-клуб ♫ 411125.6367
2111 Коллекция тушканчик 403667.3711
6085 Продам комиксы (Не Черепашки нинзя) 348023.0957
2482 Архив сТРажа 344825.4932
1420 Фан-коллекция от Russian Ninja 261327.6621
545 Статьи и иллюстрации зарубежных изданий (Без перевода) 251289.6885
3051 Все карточки "Черепашки Ниндзя: Боевая четвёрка" 199468.3516
235 Коллекция Demon-Alukard'а 180550.4785
3081 <КОМИКС> TMNT FF 2 #1 Master Fighter 2105 174005.8154
2230 Коллекция карточек #1 "Черепашки Ниндзя: Боевая четвёрка" 167454.8428
11 Дневник 164046.3643
4476 Фан-арт от Karai493: фантазия... 155915.7979
3357 Коллекция donate!!o 153091.5371
6658 Одиночки или несправедливая жизнь 149658.5654
233 Коллекция Kappa 134127.7852
9 Обсуждение своих аватаров 130853.2490
780 Фан-арт от bobr'a 130742.9707
1564 Коллекция LostBoy 124942.2314
6065 Концепты к фан-фильму 124509.0420
152 Фан-арт зарубежных фанатов TMNT 107643.9658
3695 Коллекция вадим*а93 104693.8545
1209 TmnT vs X-Men 97500.0566
10 Аватарная мастерская 97467.3691
2084 Любительские фото 96430.9932
5528 Ваша нечерепашья коллекция 93440.0059
2120 Коллекция ATOM'а 92580.3916
934 Кастомы фигурок TMNT 88983.2207
6810 Старый мультсериал из пластилина 88853.2559
3137 Коллекция grave_mc 87223.6807
2534 Фан-арт Рафаэллы 86721.1738
369 Ваши домашние питомцы! 86080.8496
2147 Колекция Fastworm 85192.2998
6073 Черепашки Ниндзя: Боевая четвёрка #38 84396.3867
2521 Коллекция bobr'a 82047.1152
7472 TMNT: New history 81706.4443
1533 Коллекция Rdan 80621.8955
1569 Поиск артов из игрушек TMNT Playmates: National Turtle Quiz Jokebooks, Secret Sewer Maps и пр. 79750.9541
4062 Арт gsz 79179.6680
937 Необыкновенные черепашки (издательство "Махаон&quot 78527.0986
4061 SPTS 78230.9766
2973 Вложения в соц. группах 78222.1982
5966 Фан-арт от Вансета 77524.6875
745 TMNT: Turtle Turncoat II [rus] 77471.5410
4944 Арт by D/H 77192.3770
2434 Коллекция ManWithNoName 71708.8760
1686 [Комикс] TMNT: Пока Город Спит 69188.9912
6762 Сборная солянка музыки разных вселенных 69186.8271
1628 Фотосессия: MAXtDie с черепахами 67871.5293
6239 Фан-арт от Li-tяn 67779.3145
217 Viksnake art 67091.1768
1481 Обои на тему TMNT 65907.5322
1002 Фан-арт от Mikey 65232.5088
6118 Коллекция карточек #3 "Черепашки Ниндзя: Собратья по оружию" 64925.5986
2938 Коллекция Tresh'a 64725.8623
121 Ваши рисунки 64680.7539
2159 TMNT 2007: Music From The Motion Picture 63875.3809
154 Юмор и TMNT 63720.4043
1698 Ваш рабочий стол (на компьютере) 63453.7080
2790 Tmnt 2003. Проблема со свитками 60058.9873
2729 Коллекция Дим 58488.9014
5591 [IDW] TMNT Ongoing #1 57809.7910
4460 Новости о новом мультсериале (общая тема) 57658.4756
1416 Арт от bobr'a 54115.3145
994 Арт от Demon-Alukard'а 53582.5957
2294 Фан от >R@f< 52523.6729
5103 Продажа комиксов (TMNT и не только) 51929.3428
6258 Коллекция ВАНСЕТА 51757.6426
3521 Фан-арт от GUNz 51738.7354
6092 Помогите оценить фигурки! 50442.3184
5573 Teenage Mutant Ninja Turtles - Red Sky Battle 50372.1826
4243 Черепашки от gsz 48759.6357
5186 Splinter Adventure [Юбилейная игра] 48168.5010
5298 Фан-арт и демотиваторы от Раушаны 47748.0957
6141 Приключения Леонардо 47540.8613
956 Манга TMNT 47464.4648
744 TMNT: Turtle Turncoat [rus] 46219.8438
1259 Юмор 45616.7715
3678 Коллекция Майки 01 45266.2920
6767 Измерение "Икс" - послесловие 44707.2773
6727 Золушка на новый лад. Спектакль (тоже). 44513.8242
1894 Арт от ManWithNoName 44209.2061
1292 Бумажный Кренг ^_^ 43756.8066
1426 Raphael - Bad Moon Rising 1-4 42991.8809
3119 Scorch's collection 42365.9434
1169 Teenage Mutant Ninja Turtles - Challenges 41616.5195
3087 Комиксы на продажу В НАЛИЧИИ 40692.6963
2105 Фан-арт Роксички ^^ 40405.4424
2691 VHS: Восстановим легенду вместе! 40170.3887
5056 Арт от Вадима93 и Лёхи84 39722.3857
321 TMNT II: The Original Motion Picture Soundtrack 39352.0908
2623 Покупка видеокассет от "Екатеринбург Арт" и "Московское видео" 90-ых годов. 38001.8770
1687 Арт от Laynet 37891.1631
1786 ЧМН: Проблемы есть 37730.8564
2747 Черепашки Ниндзя: Боевая четвёрка #09 36511.0264
6642 Фигурки 36154.4971
5953 Черепашки Ниндзя: Боевая четвёрка #34 36048.8652
Темы, предлагаемые к полной очистке от вложений, выделены красным.
Темы, предлагаемые к частичной очистке от вложений, выделены жёлтым.
Согласно предложению, мы разгрузим нашу систему на приблизительно 3 гигабайта.
После исполнения этого предложения будет проведён дополнительный анализ всех остальных тем, размер вложений в которых превышает 10 мегабайт.
Также предлагается внести изменения в положение о загрузке вложений в отношении нетематических разделов и новые рекомендации касательно объёма изображений.
Дополнительно предлагается разработка списка альбомов на удаление.

Проблема в том, что наш сервер находится на максимальном тарифном плане и дальнейшее увеличение увеличение объёма дискового пространства является относительно дорогим для некоммерческого форума удовольствием.
Условно говоря, если исходить из расчёта тарифов дополнительного места, поддержание той же одной единственной темы "Фотогалерея" обойдётся форуму в 700 рублей в год, что экономически нецелесообразно, т.к. 99% вложений в теме "мёртвые" (их никто не смотрит, в отличие от тех же вложений в Фан-коллекциях).

В тему кастуются несколько авторов тем на удаление вложений: @АТИМ, @Агент Бишоп, @nobleman.
Спасибо за пост (4) от: Extasy, Klunk, Liana Valkirija, Шторм
03.08.2012, 18:27
Не знаю, по теме отвечу, нет. Но причина с кучей сообщений, что многие пишут тупые безосновательные посты. Типа: Да, Нет, Лео, посмотрю, . Но с этим бороться даже не знаю как. мысль не передается, а форум засоряется...
03.08.2012, 18:29
Может в таком случае стоит на форуме провести грандиозную чистку? Наверняка на форуме есть почти никому ненужные изображения например, у меня в альбомах, которые можно поудалять.
Ну или, на худой конец, перестать заливать изображения на форум, и заливать на всякие "Радикалы", хотя, это конечно уже в крайнем случае . Или, например, изображения которые относятся к ЧН тематике-заливать на форум, а те, которые которые не относятся к тематике форума-заливать на сторонние хостинги?..
03.08.2012, 19:00
Спасибо за пост (2) от: Klunk, Шторм
   03.08.2012, 19:15  

  Сообщение от Paulo Sokolinni 

Не знаю, по теме отвечу, нет.

Не по теме

  Сообщение от Paulo Sokolinni 

Но причина с кучей сообщений, что многие пишут тупые безосновательные посты. Типа: Да, Нет, Лео, посмотрю, . Но с этим бороться даже не знаю как. мысль не передается, а форум засоряется...

Лето, однако
Общая политика такова, что именно "боремся" с этим мы только в действительно полезных темах и приоритетных разделах.

  Сообщение от Шторм 

Ну или, на худой конец, перестать заливать изображения на форум, и заливать на всякие "Радикалы"

Этого, безусловно, никогда не случится
Удобство пользования форумом упадёт в разы.

Я ещё раз повторюсь, если бы всё место было занято изображениями из раздела коллекций/арта и т.д. - я бы вообще не поднимал эту тему, просто закупили бы ещё места. Вопрос поднят только потому, что некоторые темы (а если быть совсем точнее, некоторые пользователи) слишком нерационально используют пространство - ну зачем форуму нужны последние фото с пикника чьего-либо кота в плохом качестве в размере 50 штук, каждая из которых занимает по 5 мегов, которые ни разу не посмотрел, а они лежат уже год?

  Сообщение от Агент Бишоп 

Насчёт Фотоконкурса - предлагаю так - после его окончания - удалите все темы вложений

Да проще ввести, что по 500 килобайт на фотографию, пусть ужимают перед отправкой - тогда можно будет всё спокойно сохранить в архиве. А кто размещает большего размера - снимается с участия
03.08.2012, 19:22
Для ДиДжей клуба можно устроить ребут и валить ссыли с буржуйского Ютуба.
Спасибо за пост (1) от: Raph 007
03.08.2012, 19:33
Я думаю, что можно просто поудалять те темы, которые уже покрылись столетней паутиной и подобное, чтобы очистить паямть. Например в фан-фиках, заброшенные темы или закрытые и никому ненужные. Тоже самое можно сделать с артами, или поудалять последние темы с самым малым количеством просмотров или тех пользователей, которых уже и в помине нет на форуме. Аналогично можно поступить с другими темами.
Спасибо за пост (1) от: Liana Valkirija
04.08.2012, 08:02
Снести все нечерепашьи разделы кроме АПФ по сонику и ГП
@Karai493, глупая идея. Как я понял, мы наоборот стремимся чтобы на форуме было больше ЧН-материала, включая фанфики и арт.

Предлагаю снести всё что помечено красным, но не трогать некоторые "жёлтые", а точнее IDW, СПО. Всё-таки черепаший материал.
Спасибо за пост (2) от: Klunk, Шторм
04.08.2012, 08:14
Ну, вот, что я уже давно предвидел и не раз предупреждал администрацию.
КОНЕЧНО ЖЕ ЧИСТИТЕ ФОТОГАЛЕРЕЮ! Давно пора! А то уже дождался того, что мне теперь стыдно.

  

Темы, предлагаемые к полной очистке от вложений, выделены красным.

А точнее, только ли вложения?
А вообще, прошу оставить только первую и последнюю страничку. Саму тему я уже скинул себе на винт. Ведь это неправда, что она никому ненужна, если три человека в ней сидят и занимаются творчеством, значит она уже не мёртвая. )))
И если бы я мог, я бы сам редактировал каждое вложение.
Спасибо за пост (5) от: Extasy, Klunk, Raph 007, Rebel Of Fire, VEROCSANA
04.08.2012, 08:28
Со своей стороны обещаю в скором времени в разы уменьшить объемы вложений в теме своей коллекции.
04.08.2012, 08:58
Нужно просто удалять вложения во всяких диджей-клубах и т.п. И в целом запретить (либо ограничить) вложения по не ЧН-тематике.
Спасибо за пост (3) от: Klunk, Raph 007, Шторм
04.08.2012, 11:19

  Сообщение от Raph 007 

Снести все нечерепашьи разделы кроме АПФ по сонику и ГП

Или и так сделать. Форум черепаший и остальные темы здесь бессмыслены по нечерпашьей тематике. Нет, ну... Соник, конеш, еще хороший раздел, а все остальное глупость.

да и еще...по-моему все эти новые добавления в уведомления в виде циирования или упоминания вовсе не нужны. Серьезно...ну...упомянули и что?.. Вот подписка на темы очень полезная вещь, а эти два совсем не нужны, с моей точки зрения.

Последний раз редактировалось 102Angeldemon; 04.08.2012 в 12:35.
Спасибо за пост (2) от: Extasy, Raph 007
04.08.2012, 13:08
Кренг, а насколько примерно нам хватит этих 3 гигабайт? Ведь рано или поздно и они кончатся, что тогда то?
Спасибо за пост (2) от: Klunk, Шторм
04.08.2012, 13:11
Запретить вложения. Делать всё в иных источниках. А все вложения удалить. Вот и всё.
04.08.2012, 13:14
а смысл тогда в этих вложениях? не все компьютеры или сети, точнее, не у всех они будут такими хорошими, чтобы загружать вложения на те или иные источники, что станет проблемой.

p.s.меня одну смущает со разрастающимся?
04.08.2012, 13:14

  Сообщение от RayCrit 

Запретить вложения. Делать всё в иных источниках. А все вложения удалить. Вот и всё.

Что за бред?О_о
Форум наоборот этим и хорош, что не надо никуда заливать файлы, потому что потом они могут потеряться, удалиться. Ну и

  Сообщение от Krang 

Удобство пользования форумом упадёт в разы.

Спасибо за пост (6) от: Extasy, Klunk, Krang, Liana Valkirija, Nikto, Шторм
04.08.2012, 14:42

  Сообщение от Raph 007 

Что за бред?О_о
Форум наоборот этим и хорош, что не надо никуда заливать файлы, потому что потом они могут потеряться, удалиться. Ну и

Это не бред , а выход. Ну а твоё предложение? Что поделать? Удалим мы это ну и что? Через год снова та же проблема. Что делать будем???
04.08.2012, 15:06

  Сообщение от RayCrit 

Это не бред , а выход. Ну а твоё предложение? Что поделать? Удалим мы это ну и что? Через год снова та же проблема. Что делать будем???

Это глупый выход. А точнее совсем не выход.
Этот форум хорош тем, что не надо куда-то что-то заливать, и он один целый архив материалов по ЧН.

Моё предложение? Удалить то что красное, или же всю нечн-зону. Освободятся 3 гигабайта, через полгода (а то наверняка и меньше!) когда место закончится....не знаю....Либо удалять ещё что-то, либо скидываемся всем форумом на свободное место
Спасибо за пост (3) от: Klunk, Nikto, Шторм
04.08.2012, 15:12

  Сообщение от Raph 007 

Это глупый выход. А точнее совсем не выход.
Этот форум хорош тем, что не надо куда-то что-то заливать, и он один целый архив материалов по ЧН.

Моё предложение? Удалить то что красное, или же всю нечн-зону. Освободятся 3 гигабайта, через полгода (а то наверняка и меньше!) когда место закончится....не знаю....Либо удалять ещё что-то, либо скидываемся всем форумом на свободное место

Каким бы он не был это выход. А твоё " ещё что-то" очень обнадёживает =__=
04.08.2012, 15:14
Думаю флуда за полгода наберётся, который будет занимать место. Вот его и будем удалять.
А уж в крайнем случаи, как я говорил, придётся скидываться.
04.08.2012, 15:20

  Сообщение от Raph 007 

Моё предложение? Удалить то что красное, или же всю нечн-зону.

Лучше уж тогда начать удалять соц. группы .
04.08.2012, 15:21

  Сообщение от Шторм 

Лучше уж тогда начать удалять соц. группы .

Их и так скоро удалят.

Я своё предложение выдвинул, посмотрим что ещё нам Кренг скажет.
   04.08.2012, 15:47  
Ну и активность в решении вопроса )

  Сообщение от Raph 007 

не трогать некоторые "жёлтые", а точнее IDW, СПО. Всё-таки черепаший материал.

IDW там две темы с вложенными комиксами, смысла особого нет, потому что всё то же самое скачивается у Алукарда, ну первый номер разве что можно оставить на английском.
Касательно же Боевой Четвёрки - уже давно был план всё это переложить на торрент вместе с Эгмонтом. Пока дело подвисло.

  Сообщение от АТИМ 

А вообще, прошу оставить только первую и последнюю страничку.

Не вопрос.
Дальше тема будет продолжать работу в старом режиме, просто пусть заливают куда-нибудь на типа яндекс.фоток
Надо проработать вопрос выбора хостинга изображений для таких тем.

  Сообщение от АТИМ 

Ведь это неправда, что она никому ненужна, если три человека в ней сидят и занимаются творчеством, значит она уже не мёртвая. ))) И если бы я мог, я бы сам редактировал каждое вложение.

Сама тема то нужна, я понимаю
Я про то, что не нужны уже старые страницы, потому что те, кто пользуются темой, их уже смотреть по второму кругу не будут.
Касательно редактирования - могу поставить модератором в этот раздел при желании. Тогда там вообще появляется много вариантов, вплоть до того, что не удалять сейчас всё, а постепенно модератором переместить это всё на другой хостинг изображений из вложений - тема останется полностью цела
Но тут, конечно, нужно время.

  Сообщение от ARTЁM 

Со своей стороны обещаю в скором времени в разы уменьшить объемы вложений в теме своей коллекции.

Артём, это необязательно.
Твоя тема, на мой взгляд, одна из самых ценных тем форума, поэтому начинать расчищать материал, ради которого форум создавался - ну не комильфо
Там можно просто посмотреть если есть какие-то дубли - их удалить, а так - не стоит

  Сообщение от Karai493 

Или и так сделать. Форум черепаший и остальные темы здесь бессмыслены по нечерпашьей тематике.

Темы сами по себе места много не занимают.
Для краткой справки: все сообщения форума, накопленные за 3,5 года в целом занимают около 150 мегабайт.

  Сообщение от Raph 007 

Кренг, а насколько примерно нам хватит этих 3 гигабайт? Ведь рано или поздно и они кончатся, что тогда то?

Закажем ещё места.
Тема то создана, собственно, не потому, что вопрос в конкретно сейчас 3 гигабайтах, место рано или поздно придётся докупать. Вопрос поднят потому, что при таких темпах заливания на форум бесполезных огромных вложениях и дополнительное место уйдёт за пару месяцев.

  Сообщение от Karai493 

меня одну смущает со разрастающимся?

Опечатка

  Сообщение от RayCrit 

Удалим мы это ну и что? Через год снова та же проблема. Что делать будем???

Ответил Рафу выше на этот вопрос.
Ситуация вполне ожидаемая, целью этой темы было уведомить всех, чтобы могли на всякий случай что-то сохранить из очищаемых тем (вдруг я неправильно оценил, что вложения в них бесполезные ).
Спасибо за пост (5) от: Extasy, Klunk, Raph 007, АТИМ, Шторм
04.08.2012, 17:30

  Сообщение от Krang 

Артём, это необязательно.
Твоя тема, на мой взгляд, одна из самых ценных тем форума, поэтому начинать расчищать материал, ради которого форум создавался - ну не комильфо
Там можно просто посмотреть если есть какие-то дубли - их удалить, а так - не стоит

А я не буду удалять. Просто прогоню фотки через фотошоп, уменьшу размер (а то сейчас каждая по несколько МБ весит) и залью заново.
Спасибо за пост (3) от: Klunk, Nikto, Raph 007
Ответить
Страница 1 из 2:  1 2 
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1):