Сабж :( Сколько можно оптимизировать и все равно его клинит через раз от миллионнострочных таблиц :(
Кто посоветует хорошее быстрое persistent хранилище с удобным интерфейсом? Впрочем, подойдет и in memory хранилище, но с расширенными возможностями фильтрации.
Кто посоветует хорошее быстрое persistent хранилище с удобным интерфейсом? Впрочем, подойдет и in memory хранилище, но с расширенными возможностями фильтрации.
А что именно "клинит" то? Работает вроде и поболее миллиона. Может дело в другом.
ReplyDeleteДа ни к черту оно работает. У меня задачка особенная - идет вставка в базу где-то 5 миллионов записей, иначе как через загрузку с csv не получается грузить, все это нереально долго. Ни insert delayed не помогает, ничего прочее. А в базе хранятся хэши, так что реляционные фичи в общем-то не нужны.
ReplyDeletetokuDB?
ReplyDeleteПосмотрите в сторону noSQL. Я бы порекомнедова mongodb или casandra.
ReplyDeleteНадеюсь перед инсертом вы индексы убиваете + отключаете?
ReplyDeleteРазумеется, при инсерте отключаю, но есть много операций апдейта, где отключать их нельзя.
ReplyDeleteСейчас попробовал Redis как хранилище на время обработки и уже обработанные данные загружать в MySQL, посмотрим, что из этого выйдет.
Cassandra - запускать Java на VPS у меня как-то рука не поднимается. Идеал моих представлений о nosql - это MemcacheDB, жаль, что проект не жив не мертв (нет апдейтов с 2008 года).
У редиса есть огроменный минус - он всю свою базу тащит в память. Иногда это невозможно.
ReplyDeleteВместо memcacheDB поглядите на memBase, может подойдет.