Все записи

Как использовать файловые хранилища в своих проектах?

Где лучше хранить файлы, когда их становится много: в базе данных или файловом хранилище? И как сделать так, чтобы приложение не упало под нагрузками, а важные файлы не потерялись?

Маша, разработчик Naumen, рассказала о файловых хранилищах. Примеры — в статье на Habr.

Без имени-2 (3).jpg

Когда только пришла в Naumen, я не знала, что такое файловые хранилища и как с ними работать. Однако первые мои задачи были связаны именно с этим, поэтому пришлось разобраться, что это такое, и как файлы хранятся в системе. Благодаря осознанной эволюции хранения файлов, у нас есть решение, где мы не потеряем файлы и не упадем под нагрузками. 

Когда дело касается файлов, первое, что раньше приходило мне в голову — это сохранять их в базе данных. При маленьких размерах файлов и небольшом количестве — это хорошее решение. Однако когда файлы начинают расти, а их количество увеличивается, наша БД начинает разбухать. Возникает три основные проблемы:

  • Занимаем много места на сервере, где находится БД;

  • БД долго обрабатывает запросы;

  • Время создания бэкапа уходит в бесконечность.

На помощь приходят файловые хранилища. Это директория на локальном или сетевом диске, где мы храним и получаем файлы. 

По расположению файловые хранилища могут находиться:

В локальной файловой системе 

Плюсы: легкая реализация, быстрый доступ, независимость от сети.

Минусы: единый критический узел, занимаем дисковое пространство.

В сетевой файловой системе

Плюсы: устранение единого критического узла.

Минусы: сложнее реализация, поддержка уже второго сервера.

Файловые системы могут разделяться и по тому, что лежит в их основе

Использование файловой системы

Плюсы: бесплатный вариант, не грузим базу.

Минусы: реализация с нуля всех методов взаимодействия.

S3 совместимое файловое хранилище (поддержка стандарта Amazon’s S3 API)

Плюсы: легкая реализация, возможность использовать из коробки множество плюшек, наличие бесплатных систем (ceph и MinIO).

Минусы: необходимо первичное изучение библиотеки, поднятие и настройка файлового хранилища.

Хранилище данных поставщика услуг

Плюсы: простая реализация, возможность использовать из коробки множество плюшек, не требуется самостоятельного поднятия и настройки ФХ.

Минусы: необходимо первичное изучение библиотеки, системы платные.


Group 1 (3).jpg

Как обойти пиковые нагрузки и не потерять файлы?

Пользователь скачивает файл → мы размещаем его в БД → переносим в ФХ отдельной задачей, но с уточнением, что перенесется не каждый файл. Мы сначала проверим, можно его перенести или нет.

Бонусы работы с файловыми хранилищами

Обработка тайм-аута

Если нашему ФХ плохо, можно взять перерыв и потом продолжить обращаться к нему.

Поддержка нескольких ФХ

Если ФХ хранит очень много файлов, мы переключаемся на дополнительное и продолжаем работать. А из первого получаем файлы, которые уже сохранены. Либо если одному ФХ стало плохо, мы переключаемся на резервное ФХ и работаем с ним, пока разбираемся с основным.

Похожие новости

Истории коллег, в которых поддержка команды изменила все

Просить помощи бывает непросто — особенно в начале, когда хочется доказать, что справишься сам. Но чаще всего именно вовремя заданный вопрос помогает избежать ошибок, сэкономить время и почувствовать, что ты не один.

Мы собрали истории коллег, в которых поддержка команды сыграла ключевую роль — помогла не только решить задачу, но и вырасти.

Тимлид в команде джунов: путь к доверию и развитию команды

Вика Анисимова пришла в Naumen стажером, выросла до системного аналитика и теперь руководит командой сопровождения web SMP. 

В ее команде — начинающие специалисты, поэтому универсальные советы для тимлидов на старте особо не помогли. Вика решила искать свой подход, который поможет выстроить доверие и поддерживать рост. В статье — 9 шагов, с которых началась команда, где безопасно учиться, пробовать и расти. 

История успеха | Ксения Тарануха

Ксюша пришла в техподдержку Скорозвона — без технического образования, но с опытом в коммуникациях и желанием развиваться. За два с половиной года она глубоко погрузилась в продукт, а затем перешла в аналитику. И уже на старте помогла реализовать фичу, которая упростила подключение SIP URI для клиентов — за этот вклад она даже получила премию Naumen Профи.

Сейчас Ксюша работает над новым вызовом — диалоговым роботом, который автоматизирует исходящие звонки. В статье — ее путь, задачи и подход к работе.

Все новости