Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-03-10

1 Теги: data science, statistica, apache spark, cart - classification and regression trees, f-распределение фишера, p-значение, r2, structures query language (sql), t-распределение, tensorflow, алгоритм градиентного бустинга, асимметричное распределение, байесовский метод вывода, большие данные (big data), вариация остатков, вероятностные модели, выборка обучающая (training sample), выборка проверочная (validation sample), диаграмма "стебель-листья", интерквартильный размах, клетка таблицы сопряжённости, коллинеарность, критерий отношения дисперсий, критерий хи-квадрат пирсона, лог-нормальное распределение, метод наименьших квадратов (мнк), межквартильный размах, непараметрический критерий, несмещённая оценка, номограмма альтмана, перекрёстные исследования, пересечение множеств, пуассоновская регрессия, размер выборки, разнообразие больших данных (big data variety), сезонная вариация, сериальная корреляция, событие, словарь терминов, статистический критерий вальда, форест-график, хи-квадрат критерий, цензурированные (неполные) данные, "ящик с усами"

2 Собрали небольшой словарик часто употребляемых терминов и сокращений специалистами Data Science.

3 - Statistica- универсальная система анализа данных и Data Science, содержащая как классические, так и современные методы анализа данных, доступные пользователям в удобном диалоговом режиме. Содержит более 10 000 аналитических и статистических процедур, включ��я машинное обучение и нейронные сети, и имеет более миллиона пользователей во всём мире. Коннектор Statistica с R позволяет эффективно использовать библиотеки открытого ПО.

3 + Statistica- универсальная система анализа данных и Data Science, содержащая как классические, так и современные методы анализа данных, доступные пользователям в удобном диалоговом режиме. Содержит более 10 000 аналитических и статистических процедур, включая машинное обучение и нейронные сети, и имеет более миллиона пользователей во всём мире. Коннектор Statistica с R позволяет эффективно использовать библиотеки открытого ПО.

4 Apache Spark- мощный движок обработки исходного кода, основанный на скорости, простоте использования и сложной аналитике с API-интерфейсами в Java, Scala, Python, R и SQL. Spark запускает программы до 100 раз быстрее, чем Apache Hadoop MapReduce в памяти, или в 10 раз быстрее на диске. Может использоваться для создания приложений данных в виде библиотеки или для интерактивного анализа данных ad hoc.

5 Spark предоставляет стек библиотек, включая SQL, DataFrames и Datasets, MLlib для машинного обучения, GraphX для обработки графов и Spark Streaming. Вы можете объединить эти библиотеки в одном приложении. Кроме того, Spark работает на ноутбуке, Apache Hadoop, Apache Mesos, автономно или в облаке. Он может обращаться к различным источникам данных, включая HDFS, Apache Cassandra, Apache HBase и S3.

6 CART (Classification and regression trees)- деревья классификации и регрессии. Алгоритм Classification and Regression Tree разработан Leo Breiman, Jerry Friedman, Charles Stone и Richard Olshen. Алгоритм строит бинарные деревья, имеющие двух потомков в каждом узле дерева. На каждом шаге построения дерева правило, формируемое в узле, делит заданную обучающую выборку на две части - часть, в которой выполняется правило (левый потомок) и часть, в которой правило не выполняется (правый потомок). Для выбора оптимального правила разбиения используется функция оценки качества разбиения. Функция оценки качества разбиения основана на идее уменьшения неопределенности в узле. Дерево решений с непрерывными выходными значениями называется деревом регрессии, деревья классификации выводят конкретные категориальные значения. В дереве имеется один особый узел, известный как корневой. Это основа дерева, от которой можно перейти по дереву к любому узлу. Ключевым моментом является иерархия разбиений. В результате последовательности проверок организуется процесс разбиения данных на непересекающиеся подмножества. Каждый листовой узел соответствует небольшой, но исключительной (неповторяющейся) части исходного множества.

7 F-распределение Фишера- вытянутое вправо непрерывное распределение, характеризующееся степенями свободы числителя и знаменателя. Используется в дисперсионном анализе.

8 P-значение- вероятность получения наших результатов или чего-либо большего, если нулевая гипотеза верна; уровень значимости.

9 R2- коэффициент детерминации, доля общей дисперсии зависимой переменной в регрессионном анализе, которая объясняется моделью.

10 Structures Query Language (SQL)- язык программирования, разработанный для управления и извлечения данных из системы реляционных баз данных.

11 t-распределение- также называется распределением Стьюдента. Непрерывное распределение, чья форма подобна нормальному распределению и которое характеризуется своей степенью свободы. Используется для проверки гипотез о средних значениях выборки.

12 TensorFlow™- программная библиотека с открытым исходным кодом для высокопроизводительных численных расчетов. Гибкая архитектура позволяет развертывать вычисления на различных платформах (процессорах, графических процессорах, TPU), от настольных компьютеров до кластеров серверов, мобильных и периферийных устройств. Обеспечивает поддержку машинного обучения и глубокого обучения, гибкое ядро для численных вычислений используется во многих других научных областях.

13 Алгоритм градиентного бустинга(boosting - улучшение, xgboost) - процедура последовательного построения композиции алгоритмов машинного обучения с целью улучшения качества классификации или предсказательной силы модели.

14 Асимметричное распределение- асимметричное распределение данных имеет длинный хвост справа с несколькими высокими значениями (положительно скошенное) или длинный хвост слева с несколькими низкими значениями (отрицательно скошенное).

15 Байесовский метод вывода- вывод на основе теоремы Байеса, использует не только текущую информацию, но и прежнее суждение о гипотезе для оценки апостериорной вероятности, оценивающей уровень доверия к гипотезе после наблюдаемых событий.

16 Большие данные (Big Data)- включает в себя стратегии, технологии и информационные системы, направленные на получение, обработку, хранение, анализ и визуализацию сложных структурированных и неструктурированных наборов данных с помощью пакетной обработки, потоковой обработки, NoSQL, HPC, MPP, In-Memory и других.

17 Вариация остатков- вариация переменной, которая остаётся после того, как удалена вариабельность, относящаяся к интересующим нас факторам. Это вариация, не объяснимая моделью, также называется "ошибочная, или необъяснённая, вариация".

18 Вероятностная модель- математическое представление случайного события. Определяется пространством элементарных событий и вероятностью событий.

19 Выборка обучающая (training sample)- выборка, на которой производится обучение алгоритма, в частности, нейронной сети с целью минимизации заданной функции потерь.

20 Выборка проверочная (validation sample)- выборка, на которой осуществляется проверка модели из множества моделей, построенных по обучающей выборке и выбирается лучшая модель.

21 Диаграмма "стебель-листья"- полуграфический метод, используемый для представления числовых данных, в котором первая (крайняя слева) цифра каждого значения данных является стеблем, а остальные цифры числа - это листья.

22 Интерквартильный размах- разница между первым и третьим квартилем (IQR).

23 Клетка таблицы сопряжённости- пересечение отдельной строки и отдельного столбца таблицы сопряженности. Матрица ошибочной классификации алгоритма машинного обучения является типичным примером таблицы сопряженности, в которой на диагонали указано число правильно классифицированных объектов, вне диагонали число ошибочно классифицированных объектов.

24 Коллинеарность- пары независимых переменных в регрессионном анализе высоко коррелируют, если их корреляции по модулю близки к единице.

25 Критерий отношения дисперсий- F-критерий Фишера-Снедекора, используется для проверки гипотез о равенстве дисперсий в популяции.

26 Критерий хи-квадрат Пирсона- используется в частотных данных, проверяет нулевую гипотезу, что нет связи между факторами, которые определяют таблицу сопряжённости. Также применяется для тестирования разницы в долях (пропорциях) данных.

27 Лог-нормальное распределение- вытянутое вправо распределение вероятности непрерывной случайной переменной, чей логарифм подчиняется нормальному распределению.

28 Метод наименьших квадратов (МНК)- метод оценки параметров в регрессионном анализе, основанный на минимизации суммы квадратов остатков.

29 Межквартильный размах- интервал между 25-й и 75-й процентилями; он содержит центральные 50% упорядоченных значений.

30 Непараметрический критерий- критерий проверки гипотез, который не делает предположений о распределении анализируемых данных. Иногда называется критерием, свободным от распределения.

31 Несмещённая оценка- для того чтобы оценка была несмещенной, требуется, чтобы в среднем оценка дала истинное значение неизвестного параметра. Формально оценка X является несмещенной оценкой параметра θ, если E(X) = θ.

32 Номограмма Альтмана- диаграмма, которая устанавливает связь размера выборки, мощности статистического критерия, уровень значимости и стандартизированную разность.

33 Перекрёстные исследования- исследования, в которых каждый исследуемых пациент получает более одного вида лечения, одно за другим в случайном порядке.

34 Пересечение множеств- пересечение множеств A и B, обозначаемых A B, является множеством элементы, которые находятся как в A, так и в B.

35 Пуассоновская регрессия- в пуассоновской регрессии предполагается, что зависимая переменная распределена по закону Пуассона, где μ = E( Y | X ) - среднее значение зависимой переменной Y при известных значениях независимых переменных X. В качестве функции связи обычно используется логарифм, также степенную и тождественную функцию.

36 Размер выборки- количество элементов в выборке. Размер выборки является важной величиной, при увеличении размера выборок точность оценок увеличивается. Однако мы не можем увеличивать размер выборки до бесконечности, так это связано с временными и финансовыми затратами.

37 Разнообразие Больших Данных (Big Data Variety)- относится к типу и характеру данных. Это помогает людям, которые анализируют его, эффективно использовать полученную информацию.

38 Сезонная вариация- значение интересующей нас переменной систематически изменяются согласно времени года.

39 Сериальная корреляция- корреляция между наблюдениями во временных сериях и наблюдениями, отделёнными между собой фиксированным временным интервалом.

40 Событие- подмножество пространства выборки. Например, пространство для эксперимента, в котором дважды бросается монета, определяется {ОО, ОР, РО, РР} и A = {ОР, ОО}, тогда A событие, в котором Орёл встречается в первую очередь.

41 Статистический критерий Вальда- применяется в логистической регрессии для проверки вклада отдельного коэффициента регрессии.

42 Форест-график- диаграмма, применяемая в метаанализе и показывающая оценённый эффект в каждом исследовании и их среднее с доверительными интервалами.

43 Хи-квадрат критерий- используется для проверки гипотезы об отсутствии между факторами в таблице сопряжённости. Также используется для проверки различий между пропорциями (долями) в данных, проверки однородности.

44 Цензурированные (неполные) данные- используются в анализе выживаемости, поскольку имеется неполная информация об исходе лечения. Также используются в оценке надежности технических систем.

45 "Ящик с усами"- диаграмма, построенная из набора числовых данных, в центре которой находится медиана, по сторонам ящика - квартили (максимальные и минимальные значения).