Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-03-10

1 Тема проекта: Сбор и анализ потоковых данных криптовалют.

2 Цель и задачи проекта

3 Цель проекта: обработать потоковые данные по криптовалютам и создать интерактивный дашборд.

4 <ol><li>Собрать данные по криптовалютам из потока.</li>

5 <li>Сохранить данные в хранилище и собрать витрину.</li>

6 <li>Визуализировать данные в виде дашборда.</li>

7 <li>Сделать выводы по выполненному проекту.</li>

8 </ol>Какие технологии использовались

9 <ul><li>Kafka </li>

10 <li>S3 Minio</li>

11 <li>ClickHouse</li>

12 <li>Docker</li>

13 <li>Parquet</li>

14 <li>Python</li>

15 </ul>Kafka

16 Цель использования:

17 Для реализации асинхронной и надежной передачи потоковых данных с источника

18 Почему выбрали:

19 Высокая отказоустойчивость и горизонтальная масштабируемость.

20 Поддержка множества клиентских библиотек и интеграций.

21 Возможность хранить данные как временное буферное хранилище.

22 Впечатления:

23 Плюсы:Отличная производительность при работе с большими объемами данных, гибкость в топологиях сообщений (topics, partitions, consumer groups).

24 Минусы:Сложности в настройке и мониторинге кластера, особенно без специализированных инструментов. Требует понимания концепций логгирования и партиционирования.

25 S3 MinIO

26 Цель использования:

27 Для долгосрочного хранения неструктурированных данных (сырые данные).

28 Почему выбрали:

29 Совместимость с AWS S3 API позволяет легко переносить решения в облако.

30 Бесплатный и open-source. Простая интеграция с другими компонентами системы.

31 Впечатления:

32 Плюсы:Простота развертывания, хорошая документация, поддержка multipart upload, шифрования и т.д.

33 Минусы:Не все функции облачного S3 доступны "из коробки", но для большинства задач хватает.

34 ClickHouse

35 Цель использования:

36 Для аналитической обработки больших объемов данных в режиме реального времени.

37 Почему выбрали:

38 Очень высокая скорость выполнения аналитических запросов.

39 Поддержка вставки миллионов строк в секунду.

40 Удобная SQL-совместимая оболочка.

41 Впечатления:

42 Плюсы:Невероятно быстрый движок для OLAP-запросов, особенно если правильно использовать движки таблиц (MergeTree и его вариации).

43 Минусы:Не предназначен для OLTP, некоторые операции обновления/удаления ограничены, может быть сложно настроить безопасность и кластеризацию без опыта.

44 Docker

45 Цель использования:

46 Для контейнеризации сервисов, упрощения развёртывания и изоляции окружений.

47 Почему выбрали:

48 Позволяет создавать воспроизводимые окружения.

49 Упрощает запуск и тестирование сервисов локально.

50 Облегчает деплой на разных стадиях CI/CD.

51 Впечатления:

52 Плюсы:Очень удобная система управления образами и контейнерами, активное сообщество, множество готовых образов.

53 Минусы:При увеличении числа сервисов начинает нужна оркестрация (например, Kubernetes), а также важно правильно организовать сетевую и дисковую политику.

54 Streamlit

55 Цель использования:

56 Разработка интерактивного пользовательского интерфейса для отображения результатов анализа данных и работы ML-моделей.

57 Почему выбрали:

58 Простота освоения и быстрое создание MVP.

59 Интеграция с популярными библиотеками (Pandas, Matplotlib, Plotly, Scikit-learn)

60 Не требует знания HTML/CSS/JavaScript для создания прототипов.

61 Впечатления:

62 Плюсы:

63 Очень простая и интуитивная API. Отлично подходит для экспериментов и быстрого показа результатов коллегам или заказчику.

64 Минусы:

65 Неподходящий выбор для масштабных, многостраничных или высоконагруженных приложений.

66 Parquet

67 Цель использования:

68 Хранение больших объёмов структурированных данных.

69 Почему выбрали:

70 Поддерживает сжатие и кодирование, что уменьшает размер хранимых данных.

71 Хорошо интегрируется с такими инструментами, как Pandas, ClickHouse, S3 и другими.

72 Позволяет сохранять схему данных вместе с самими данными.

73 Впечатления:

74 Плюсы:

75 Отличная производительность при чтении подмножества полей.

76 Хорошая совместимость между разными платформами и фреймворками.

77 Минусы:

78 Для просмотра содержимого без программной оболочки нужны специальные инструменты. Может быть избыточен для маленьких наборов данных.

79 Что получилось

80 Ссылки:

81 <ul><li><a>https://github.com/netart-studio/otus_de_project</a></li>

82 </ul>BI, Дашборд

83 Графики котировок со средними скользящими и кривые спредов

84 Видео демонстрация

85 <a>https://rutube.ru/video/55ce11a5964923c23b07ff2bd6c6a357/</a>

86 Демонстрация проекта: rutube.ru

87 Выводы

88 <ul><li>Цель проекта достигнута. Все поставленные задачи выполнены.</li>

89 <li>Трудности были с настройкойKafka. </li>

90 <li>На выполнение проекта ушло две недели. </li>

91 <li>Проект оказался полезным, я освоил новые для себя инструменты такие какKafka, S3 Minio, Clickhouse.Полезность проекта оцениваю в 10 балов.</li>

92 </ul>