Некоторое время занимаюсь кастомной базой данных для метрик. Написал, оптимизировал - все равно - медленной, хоть убейся.
Потом провел замеры на своем тест сервере с SATA / 7200 механика и получил 17 минут на обработку где-то 2х гб данных в формате Graphite / whisper:
Потом провел замеры на своем тест сервере с SATA / 7200 механика и получил 17 минут на обработку где-то 2х гб данных в формате Graphite / whisper:
2016-05-27 10:29:58,170 [INFO] Start max calculation for all elements
2016-05-27 10:46:47,079 [INFO] Finished max calculation for all elements
После двух дней оптимизации кода улучшить этот параметр не удалось.
А вот такой результат удалось получить перенеся данные с SATA на SSD KINGSTON SV300S37A60G:
2016-05-27 18:18:20,877 [INFO] Start max calculation for all elements
2016-05-27 18:18:27,772 [INFO] Finished max calculation for all elements
Да, 7 секунду. Именно так! После 17 минут мы получили 7 секунд на обработку того же объема данных :)
Разумеется, страничный кэш в обоих случаях сбрасывался. Вот так-то. Конечно, оно очевидно, что SSD быстры и хороши во всем, но чтобы НАСТОЛЬКО быстрее, я искреннее удивлен, правда.
RAM диски пробовали ? https://hosting.kitchen/ovh/ram-disk-on-an-ovh-dedicated.html
ReplyDeleteДанных сотни и иногда тысячи гигабайт в таком формате - с памятью выйдет несколько дороже, чем 500 баксов за терабайтный SSD.
Delete