Архив рубрики: хранение данных

Настройка синхронизации файлов между серверами с помощью SyncThing

SyncThing — программное обеспечение, которое позволяет выполнять синхронизацию файлов между серверами по P2P протоколу. Очень важно, что в своей работе SyncThing опирается на подсистему inotify, которая позволяет мгновенно реагировать на операции над файлами и каталогами, чтобы обеспечить минимальную задержку синхронизации, что особенно важно при наличии большого количества файлов в каталоге.

Читать далее

Настраиваем распределенную файловую систему GlusterFS на трехузловом кластере под управлением Linux

В этом руководстве мы рассмотрим настройку распределенной файловой системы GlusterFS на кластере, состоящем из трех узлов. Кластерные файловые системы часто используются в отказоустойчивых системах для обеспечения общего хранилища файлов.

Мы не рекомендуем использовать кластерные системы в задачах, где предполагается интенсивная запись данных, требующая высоких показателей IOPS и прогнозируемую задержку IO. Однако, для задач, в которых операции чтения значительно преобладают над операциями записи и нет требований к ультранизкой задержке IO, кластерные файловые системы вполне могут использоваться.

Читать далее

Сравнение MariaDB и MySQL. Все, что вам нужно знать в 2019 году

MySQL является одной из наиболее широко используемых в мире СУБД. Это программное обеспечение бесплатно и распространяется с открытым исходным кодом. MySQL, разработанный на C/C ++, является одним из самых популярных вариантов баз данных.

СУБД была разработана шведской компанией «MySQL AB» в 1995 году. Позже MySQL AB была приобретена Sun Microsystems в 2008 году. Позже Sun Microsystems была приобретена Oracle в 2010 году. С тех пор MySQL поддерживается и управляется Oracle.

Читать далее

Настройка безопасного сервера FTP с помощью ProFTP и SSL-сертификата Let’s Encrypt

Протокол FTP широко используется для доступа к файлам на серверах. В связи с его популярностью, он встроен во многие инструменты управления файлами (mc, Filezilla, Windows Commander, Windows Explorer), текстовые редакторы, системы резервного копирования и другие инструменты.

FTP — это очень старый протокол, который появился в 1971 году, когда обмен файлам в незащищенных сетях не использовался. В связи с этим, в изначальном протоколе отсутствуют средства для обеспечения безопасности передачи данных между клиентом и сервером, соответственно, FTP нельзя использовать для передачи чувствительных данных вне доверенных сетей.

Для FTP существует расширение стандарта FTPS, которое позволяет клиенту требовать шифрование соединения с помощью протокола TLS, что делает защиту данных безопасной.

Читать далее

Настройка MySQL: часто встречающиеся ошибки

При настройке серверов MySQL встречается ряд ошибок, которые ведут к снижению производительности. Вы можете столкнуться с ситуацией, когда повышая значение параметров, которые не должны негативно влиять на производительность, столкнетесь именно с таким поведением СУБД.

Избегайте произвольного увеличения размера буферов MySQL.

Читать далее

Установка и настройка Redis как контейнера Docker для продуктового использования

Прочитав эту статью вы научитесь использовать современный способ запуска Redis как безопасного приложения Docker.

Redis — популярное хранилище вида «ключ-значение» в памяти и не только — он позволяет организовывать другие хранилища, например, для множеств, очередей сообщений, блокировок, счетчиков и других структур. Благодаря высочайшей производительности Redis стал популярным хранилищем и используется в множестве продуктов, например, вы можете настроить хранение пользовательских сессий в Redis для PHP, что позволить разгрузить файловую систему сервера и автоматически удалять устаревшие объекты.

Читать далее

Усиление безопасности сервера Redis

Redis — NoSQL хранилище типа “ключ/значение”, размещаемое в памяти, имеющее возможность сохранения на диск. Чаще всего Redis используется для кэширования данных, хранения сессий и для реализации различных механизмов масштабирования.

Redis был спроектирован для использования доверенными клиентами в надежной среде, и в нем не предусмотрено собственных надежных функций безопасности. Для подтверждения этого приведем цитату с официального сайта Redis:

«Redis предназначен для доступа доверенных клиентов в доверенных средах. Это означает, что, как правило, не рекомендуется размещать экземпляр Redis непосредственно в Интернете или, вообще, в среде, где непроверенные клиенты могут напрямую обратиться к TCP-порту Redis или сокету UNIX… В общем, дизайн Redis спроектирован для обеспечения максимальной производительности и простоты управления, но не для максимальной безопасности.»


Читать далее

Установка и настройка кластера Redis в Linux

Кластер Redis часто используется в качестве инструмента для хранения данных их кэширования, брокера сообщений и других задач. Он стал популярным инструментом благодаря возможности масштабирования и высокой скорости работы. В этой статье представлены инструкции по созданию кластера на трех серверах для организации разделения данных (sharding) и высокой доступности за счет репликации. В данной конфигурации в случае отказа узла master, slave-сервер автоматически заменяет его.

Читать далее

Инкрементное резервное копирование на хранилище с помощью инструмента restic

Резервное копирование restic

В данной статье мы разберем настройку инкрементного резервного копирования с помощью инструмента restic. Мы уже писали о реализации резервного копирования с помощью duplicity, однако, вы можете попробовать и этот инструмент.

Утилита restic разработана на языке программирования Go. Преимущества этого инструмента заключаются в следующем:

  • простое управление;
  • скорость создания резервных копий ограничена только пропускной способностью дискового устройства и сетью;
  • возможность проверки целостности данных;
  • поддержка шифрования резервных копий с помощью AES-256;
  • инкрементное резервное копирование значительно сокращает необходимое место для хранения данных резервных копий;
  • множество протоколов удаленного хранилища — sftp , rest server , amazon s3 , minio server , openstack swift , backblaze b2 , microsoft azure blob storage , google cloud storage , rclone;
  • утилита бесплатна.
Читать далее

Простое резервное копирование через RSYNC на файловое хранилище

Настройка резервного копирования rsync

Мы написали уже много информации о том, как важно заботиться о сохранности своих данных и в последствии не испытывать то чувство, когда вы теряете что-то важное без возможности восстановления. Достаточно простой способ резервного копирования в операционной системе Linux описан в этой статье.

Для работы вам понадобятся следующие инструменты:

  1. Программное обеспечение RSYNC
  2. Любой консольный текстовый редактор (в командах в статье мы используем nano)
  3. Любой FTP клиент для доступа к нашему файловому хранилищу
Читать далее