Общее
В процессе эксплуатации наших ферм (а именно при их резервированными посредством нашего кастомного бэкап решения) мы обнаружили, что в среднем бинарные файлы ploop сжимаются в 2-4 раза (в зависимости от данных хранимых внутри). При этом используемое нами оборудование позволяет выполнять сжатие посредством многопоточного архиватора pigz на столь высоких скоростях, что время просто архивации без сжатия совпадает со временем архивации со сжатием, также при этом используется довольно малое число процессорных ресурсов.
Преимущество сжатие образов
Во-первых, при сжатии мы экономим довольно серьезно объем данных требуемый для хранения контейнеров, то есть снижаем стоимость владения за счет экономии места на дорогой СХД. Во-вторых, мы выигрываем в скорости за счет того, что с/на системы хранения читается/записывается как минимум вдвое меньше данных.
Тесты
Чтобы максимально четко описать преимущества и реальную эффективность подхода мы выбрали наиболее "реальные" серверы с реальными клиентами и произвели замеры эффективности их сжатия. В процессе тестов мы попытались выполнить бинарное сжатие посредством архиватора gzip/pigz с целью показать, что внедрение функции сжатия в ploop контейнеры может дать огромный эффект по ускорению доступа к данным, а также по экономии дискового пространства. Далее приводятся результаты сжатия ploop образов от OpenVZ и Parallels Cloud Server. Сжатие осуществлялось тулкитом pigz: tar --use-compress-program=pigz -cpf
testovz1 / OpenVZ
Объем, занимаемый ploop образами до сжатия: 161G
После сжатия: 83 Gb
Итог: 1.93 раза сжатие
testpcs1 / Parallels Cloud Server
Объем, занимаемый ploop образами до сжатия: 427G
После сжатия: 258G
Итог: 1.6 раза сжатие
Выводы
Таким образом, можно обратить внимание, что при хранении данных хостинг-ресурсов обеспечивается как минмиум двойная экономия дискового пространства.
Хорошо бы про это в рассылку написать и предложить сделать сжатие из коробки )
ReplyDeleteПопробуйте, мне влом переводить, если честно :)
DeleteПишите сразу на англ, чтобы потом не переводить :)
DeleteПроблема в том, что часть статей была в старых черновиках и я просто привел их в порядок и публикую по мере наличия времени. Но как будет время, безусловно, переведу :)
DeleteА кстати, есть опыт с Parallels Cloud Storage?
ReplyDeleteЕсть, но публиковать его не буду :)
DeleteА он какой? Позитивный или не очень?
DeleteТак как меня попросили дать даже негативные комментарии авторы технологии, то привожу их =)
DeleteЦитирую из Facebook.
По Cloud Storage не понравилось скорее позиционирование услуги. Она позиционируется как дешевый сторадж, но в технических требования требует ECC (удваивает стоимость памяти + требует вдвое более дорогие серверные процы), RAID (чтобы работал кэш, 300 евро сходу) + быстрая сеть 10GE, так как сеть на 1GE мы уложили тремя более-менее нагруженными впсками. Вот и выходит, что чтобы внедрить этот более дешевый сторадж я должен использовать ровно тоже самое железо, что у меня используется + добивать платформы большим числом 10GE портов - что ну очень дорого Смайлик «smile» В итоге проще набить полусотней SSD платформу и получить намного более низкую цену, более низкий латенси и более высокую емкость.
ага, спасибо, подписался там )
Delete