README.md

Тестовое задание для инкубатора ETL/ML для инженеров больших данных. Исполнитель: Бакланов Евгений Александрович Контактные данные: Телефон - +7-952-880-00-63 Электронная почта - [email protected] Зависимости: - Python 3+ - Развёрнутый Apache Spark - GeoIP2-python - matplotlib Инструкция по запуску: 1) Удостоверьтесь, что в рабочей директории находится файл с тестовыми данными в формате sflow, наименованный sflow-0118.csv 2) Удостоверьтесь, что в рабочей директории либо в директории /usr/share/GeoIP на мастере находится файл базы данных GeoLite2-Country.mmdb. Без него сможет быть выполнена только первая часть тестового задания. 3) Запустите скрипт через spark-submit packetcrunch.py 4) После окончания работы скрипта в рабочей директории появится: - Текстовый файл result_ip.csv в формате JSON с ответом на первое задание. - Текстовый файл result_country.csv в формате JSON с ответом на второе задание. - Файл изображения country_traffic.png с ответом на третье задание.