Сборка, настройка и запуск Spark Job Server для PySpark с использованием Docker

В этой статье мы рассмотрим, как собрать и использовать Spark Job Server в виде приложения для Docker. Spark Job Server — полезное дополнение Spark, которое позволяет загружать и выполнять задания Spark через Rest API.

Spark Job Server входит в состав популярных дистрибутивов для больших данных, таких как Cloudera CDH5 или Hortonworks, однако, установка полноценного кластера избыточна для целей обучения, разработки или малых вычислительных задач.

В данном руководстве вы узнаете как развернуть готовую среду для разработки, тестирования и продуктового использования Apache Spark без внешних зависимостей с использованием Spark Job Server.

Читать далее

Сравнение MariaDB и MySQL. Все, что вам нужно знать в 2019 году

MySQL является одной из наиболее широко используемых в мире СУБД. Это программное обеспечение бесплатно и распространяется с открытым исходным кодом. MySQL, разработанный на C/C ++, является одним из самых популярных вариантов баз данных.

СУБД была разработана шведской компанией «MySQL AB» в 1995 году. Позже MySQL AB была приобретена Sun Microsystems в 2008 году. Позже Sun Microsystems была приобретена Oracle в 2010 году. С тех пор MySQL поддерживается и управляется Oracle.

Читать далее

Livepatch: обновление ядра Linux без перезагрузки

Во время эксплуатации сервера Linux необходимо регулярно применять обновления программного обеспечения для поддержания приложений и операционной системы в максимально работоспособном и безопасном состоянии. Большинство программ можно перезапустить автоматически с помощью такого инструмента, как needrestart, но для обновления ядра ОС такой способ не подходит.

Livepatch является механизмом ядра Linux, который позволяет обновлять ядро без перезагрузки. Из данной статьи вы узнаете, как работает Livepatch, и подходит ли он для вашей системы.

Читать далее

Повышение безопасности OpenSSH

Авторизация по ключам SSH в Linux

SSH или Secure Shell является распространенным протоколом администрирования на системах Linux. Часто он работает на многих системах с настройками по умолчанию. Так как этот сервис открывает потенциальный шлюз в систему, улучшение его безопасности является одним из шагов по усилению защиты системы Linux. В этой статье представлены советы по усилению безопасности сервиса OpenSSH и повышения уровня защиты системы.

Читать далее

Усиление безопасности и защита конфиденциальной информации в Postfix

Ранее мы писали об установке почтового сервера Postfix в дистрибутиве Ubuntu или Debian Linux и на CentOS 7. Если вы уже установили Postfix, то пришло время подумать о повышении безопасности сервера и защите конфиденциальности данных. Этому и будет посвящена наша статья.

Почтовый агент Postfix является распространенным программным компонентом для получения или отправки электронной почты. Он имеет много параметров конфигурации, в том числе предназначенных для повышения безопасности. Следуя инструкциям по улучшению безопасности и защите конфиденциальности Postfix, представленным в этой статье, вы получите систему с улучшенной защитой от спама, несанкционированного использования данных и утечки конфиденциальной информации.

Читать далее

Настройка безопасного сервера FTP с помощью ProFTP и SSL-сертификата Let’s Encrypt

Протокол FTP широко используется для доступа к файлам на серверах. В связи с его популярностью, он встроен во многие инструменты управления файлами (mc, Filezilla, Windows Commander, Windows Explorer), текстовые редакторы, системы резервного копирования и другие инструменты.

FTP — это очень старый протокол, который появился в 1971 году, когда обмен файлам в незащищенных сетях не использовался. В связи с этим, в изначальном протоколе отсутствуют средства для обеспечения безопасности передачи данных между клиентом и сервером, соответственно, FTP нельзя использовать для передачи чувствительных данных вне доверенных сетей.

Для FTP существует расширение стандарта FTPS, которое позволяет клиенту требовать шифрование соединения с помощью протокола TLS, что делает защиту данных безопасной.

Читать далее

Настройка MySQL: часто встречающиеся ошибки

При настройке серверов MySQL встречается ряд ошибок, которые ведут к снижению производительности. Вы можете столкнуться с ситуацией, когда повышая значение параметров, которые не должны негативно влиять на производительность, столкнетесь именно с таким поведением СУБД.

Избегайте произвольного увеличения размера буферов MySQL.

Читать далее

Установка CMS 1C Bitrix в LEMP (Linux, Nginx, MariaDB, PHP 7) для CentOS 7, Debian 9 Stretch, Ubuntu 18.04 Bionic

1C Bitrix — самая популярная в России коммерческая платформа для разработки сайтов. Ниша этой CMS такая же как у Drupal и Joomla. Эта система является зрелой и хорошо поддерживаемой.

После чтения этой статьи, вы научитесь самостоятельно настраивать минималистичный сервер для для сайта под управлением CMS 1С Bitrix. Ваш сайт будет доступен по защищенному протоколу HTTPS с поддержкой бесплатного сертификата Let’s Encrypt.

Для установки CMS 1C Bitrix на выделенном сервере или VPS нам понадобится установить сервер LEMP (Linux, Nginx, MySQL, PHP 7), а затем скачать и настроить сам 1C Bitrix.

Читать далее

Установка PrestaShop в LEMP (Linux, Nginx, MariaDB, PHP 7) для CentOS 7, Debian 9 Stretch, Ubuntu 18.04 Bionic

После чтения этой статьи, вы научитесь самостоятельно настраивать минималистичный сервер для для сайта PrestaShop eCommerce. Ваш сайт будет доступен по защищенному протоколу HTTPS с поддержкой бесплатного сертификата Let’s Encrypt.

PrestaShop — популярная платформа для eCommerce, которая используется 9% электронных магазинов по всему миру. Эта система является открытой, а значит доступной для изменений любым желающим разработчиком. Популярность можно легко проверить по количеству звезд на GithHub:

Для установки PrestaShop на выделенном сервере или VPS нам понадобится установить сервер LEMP (Linux, Nginx, MySQL, PHP 7), а затем скачать и настроить сам PrestaShop.

Читать далее

Установка Opencart в LEMP (Linux, Nginx, MariaDB, PHP 7) для CentOS 7, Debian 9 Stretch, Ubuntu 18.04 Bionic

После чтения этой статьи, вы научитесь самостоятельно настраивать минималистичный сервер для для сайта Opencart. Ваш сайт будет доступен по защищенному протоколу HTTPS с поддержкой бесплатного сертификата Let’s Encrypt.

Opencart — ведущая платформа для eCommerce, которая используется четырьмя миллионами электронных магазинов по всему миру. Эта система является открытой, а значит доступной для изменений любым желающим разработчиком. Статистика GitHub для проекта весьма ярко демонстрирует его популярность:

Для установки Opencart на выделенном сервере или VPS нам понадобится установить сервер LEMP (Linux, Nginx, MySQL, PHP 7), а затем скачать и настроить сам Opencart.

Читать далее