Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-03-10

1 <ul><li><a>Типы информации</a></li>

2 <li><a>Анализ - это</a><ul><li><a>Виды анализа</a><ul><li><a>Описательный метод</a></li>

3 <li><a>Разведочный</a></li>

4 <li><a>Индуктивный метод</a></li>

5 <li><a>Прогностический метод</a></li>

6 <li><a>Причинно-следственное изучение</a></li>

7 </ul></li>

8 </ul></li>

9 <li><a>Методы анализирования и обработки информации</a></li>

10 <li><a>Майнинг - это</a><ul><li><a>Свойства</a></li>

11 <li><a>Задачи майнинга</a></li>

12 <li><a>Классификация</a><ul><li><a>Кластеризация</a></li>

13 <li><a>Ассоциация</a></li>

14 <li><a>Последовательная ассоциация</a></li>

15 <li><a>Регрессия и прогнозирование</a></li>

16 </ul></li>

17 <li><a>Дополнительные задачи</a></li>

18 <li><a>Сферы применения</a><ul><li><a>Бизнес-задачи</a><ul><li><a>Электронная коммерция и производство</a></li>

19 </ul></li>

20 </ul></li>

21 </ul></li>

22 </ul><p>Информационные технологии стремительно развиваются. Вместе с тем совершенствуются методы обработки электронных материалов. Это помогает аналитикам и IT-специалистам быстрее и лучше применять получаемые сведения на практике для тех или иных целей.</p>

23 <p>Некоторые понятия, которые еще вчера были неизвестны, сегодня - обыденное дело. Пример - data mining. На соответствующей технологии будет заострено внимание в данной статье. Все это из-за того, что выбранное направление в условиях современности является весьма перспективным и продвинутым. Но освоить его не так-то просто.</p>

24 <h2>Типы информации</h2>

25 <p>Перед тем, как изучать методы, согласно которым ведется обработка данных, важно разобраться в особенностях самой информации. Она бывает нескольких видов:</p>

26 <ul><li>численной;</li>

27 <li>интервальной;</li>

28 <li>ранговой;</li>

29 <li>номинальной.</li>

30 </ul><p>К первой категории относят числа (стоимость), ко второй - доли (рынка компании в качестве примера). В качестве ранговых материалов используют получаемые данные о продукции и потребителях. Пример - лояльность публики. Номинальными сведениями могут выступать профессии и навыки человека.</p>

31 <p>Все перечисленные материалы могут быть структурированы, собраны воедино, а затем проанализированы посредством специальных формальных методов.</p>

32 <h2>Анализ - это</h2>

33 <p>Слово "анализ" произошло от древнегреческого сочетания ana + luo. В переводе на русский - "освобождать" или "распутать". Это - скрытый смысл рассматриваемого термина, независимо от выбранного метода реализации.</p>

34 <p>Анализ - изучение предоставленных сведений с последующим преобразованием в выводы. На основе оных в будущем принимаются те или иные решения, а также строятся планы и алгоритмы действий.</p>

35 <p>Реализацией поставленной задачи занимаются специально обученные люди. Их называют аналитиками. Соответствующие лица хорошо разбираются в видах анализа данных, а также в построении выводов на основе полученных материалов.</p>

36 <h3>Виды анализа</h3>

37 <p>Ученые давно научились классифицировать виды анализирования информации. Джеффри Лик смог выделить 6 типов реализации поставленной задачи:</p>

38 <ul><li>описательный;</li>

39 <li>разведочный;</li>

40 <li>индуктивный;</li>

41 <li>прогностический;</li>

42 <li>казуальный;</li>

43 <li>механический.</li>

44 </ul><p>Последний имеет большее отношение к IT, но и другие варианты достойны внимания. В предложенной классификации методы изучения данных представлены от самого простого к наиболее сложному.</p>

45 <h4>Описательный метод</h4>

46 <p>Является наиболее простым. Называется также "дескриптивным". Отвечает за количественное описание набора предоставляемых материалов. Относится к выборке данных, относительно которых проводится анализ. Совокупность, из которой взяты сведения, вследствие реализации не подлежат описанию. Помогает формировать информацию, представленную в дашбордах.</p>

47 <p>Яркий пример - размещение новых заказов на веб-портале с самого начала отчетного периода. Сюда же можно отнести то, сколько новых пользователей посетили сервис в Сети за прошедшую неделю.</p>

48 <h4>Разведочный</h4>

49 <p>Описательный метод - это только начало, хоть и очень важное. "Голых" цифр недостаточно для того, чтобы сделать не или иные выводы. Числа, полученные аналитиком, могут распределяться совершенно по-разному. Чтобы найти оптимальное решение, на помощь приходит разведочный метод.</p>

50 <p>При нем соблюдаются следующие правила и принципы:</p>

51 <ul><li>графики - приблизительные, а числовые данные - точные;</li>

52 <li>статистические материалы предусматривают один набор вычислений;</li>

53 <li>сложные расчеты - наиболее верное решение для получения результатов.</li>

54 </ul><p>Методы анализа, опирающиеся на "голое" изучение данных, способны ввести в заблуждение. Разведочный метод дает возможность подтверждения или опровержения ранее сделанных выводов и полученных сведений.</p>

55 <h4>Индуктивный метод</h4>

56 <p>Предыдущие два варианта - это то, что выступает под широкой зонтичной структурой. Они описывают характеристики предполагаемых наборов данных. Но без статистических исследований добиться желаемых результатов проблематично.</p>

57 <p>Индуктивный метод анализа в своей основе содержит логическое извлечение материалов. Позволяет проводить тестирование гипотез.</p>

58 <p>Статистические выводы позволяют отвечать на следующие вопросы:</p>

59 <ul><li>стандартная ошибка;</li>

60 <li>доверительный интервал;</li>

61 <li>статистическая погрешность;</li>

62 <li>математическое ожидание по предоставленной выборке;</li>

63 <li>разница средних значений по двум выборкам;</li>

64 <li>определение размера выборки и анализ мощности статистического характера%</li>

65 <li>распределение данных;</li>

66 <li>регрессия;</li>

67 <li>определение критериев соответствия и ассоциированности.</li>

68 </ul><p>Вследствие применения данного алгоритма человек получает уникальную возможность - строить гипотезы и проверять их, снижая ложноположительные результаты по максимуму.</p>

69 <h4>Прогностический метод</h4>

70 <p>Опирается на индуктивный анализ. Цель - изучение взаимосвязей между переменными на основе имеющихся наборов сведений, а также разработать статистическую модель. При помощи последней человек должен получить возможность прогнозировать значения для новых, неполных или будущих точек данных.</p>

71 <p>Часто используется в следующих областях:</p>

72 <ul><li>утилиты для знакомств;</li>

73 <li>приложения для игр на биржах и фондовых рынках;</li>

74 <li>спам-фильтры;</li>

75 <li>выдача рекомендаций по контенту;</li>

76 <li>социальные сети;</li>

77 <li>кросс-продажи;</li>

78 <li>объявления рекламного характера/купоны;</li>

79 <li>прогнозы пользовательской активности;</li>

80 <li>политические кампании.</li>

81 </ul><p>Прогностический анализ служит мощным инструментом в арсенале каждой корпорации. За счет него управление данными производится в несколько раз проще и быстрее.</p>

82 <h4>Причинно-следственное изучение</h4>

83 <p>Позволяет обнаруживать причинно-следственные связи, на основании которых аналитики в будущем строят собственные гипотезы. Иногда данный прием предусматривает внедрение НЛП-технологий в целях повышения эффективности работы бизнеса.</p>

84 <p>Основная идея: провести эксперимент (или их серию) с корректировкой параметров и контролем предельного количества остальных составляющих. Пример - эксперимент с электронной почтовой рассылкой клиентам по разным продуктам.</p>

85 <h2>Методы анализирования и обработки информации</h2>

86 <p>На сегодняшний день в мире существуют различные методы обработки данных. Все они предусматривают свои нюансы и особенности.</p>

87 <p>К соответствующим алгоритмам относят:</p>

88 <ul><li>анализ кластерного типа;</li>

89 <li>факторный анализ;</li>

90 <li>нейронные сети;</li>

91 <li>древа решений;</li>

92 <li>регрессионный анализ;</li>

93 <li>дискриминантное изучение;</li>

94 <li>корреляционный анализ.</li>

95 </ul><p>Отдельно современность выделяет интеллектуальный анализ. Сюда относят так называемый майнинг. Он выходит на передовые позиции у всех аналитиков, позволяя получать полезные данные и эффективно проводить разработку стратегий поведения на рынках.</p>

96 <h2>Майнинг - это</h2>

97 <p>Data Mining с иностранного языка дословно переводится как "раскопка/добыча данных". Это - интеллектуальный метод изучения информации. Появился термин в 90-х годах, когда началось стремительное развитие информационных технологий и IT. Объем материалов электронного характера активно растет, его требуется не только хранить, но и использовать с пользой.</p>

98 <p>Стоит запомнить следующие определения:</p>

99 <ul><li>это - способ обнаружения в базах данных нетривиальных и полезных на практике закономерностей;</li>

100 <li>процесс выделения, моделирования, а также исследования биг даты в целях обнаружения неизвестных ранее структур;</li>

101 <li>целью майнинга служит обнаружение новых значимых корреляций, образов, тенденций вследствие просеивания Big Data посредством статистических и математических методов;</li>

102 <li>майнингом называют изучение и обнаружение алгоритмами ("машинами", искусственным интеллектом) в сырых данных скрытых ранее знаний нетривиального характера, являющихся полезными практически, доступными для понимания человеком.</li>

103 </ul><p>Mining - своеобразный процесс, помогающий обнаруживать "в общей массе" информации полезные знания о бизнесе и предпринимательской деятельности.</p>

104 <h3>Свойства</h3>

105 <p>Данные, которые обнаруживаются при помощи такого метода, как майнинг, обладают определенными свойствами. А именно:</p>

106 <ol><li>Неизвестность. Информация должна быть ранее неизвестной, новой. Усилия и ресурсы, потраченные да получение оных, никак не окупаются. Соответственно, ценность имеют только новшества.</li>

107 <li>Нетривиальность. Результаты проводимого анализа отражают то, что неочевидно, неожиданно, хоть и закономерно. Майнинг должен предоставлять ранее скрытые знания. Если полученные результаты могли быть получены более простыми методами, mining является неоправданным. Он требует существенных затрат от предприятия.</li>

108 <li>Полезность.</li>

109 <li>Доступность для человеческого понимания. Знания, которые получает аналитик, должны быть обязательно объяснимы логически. Иначе можно предположить, что соответствующие результаты - чистая случайность.</li>

110 </ol><p>Для того, чтобы представить публике полученную информацию, используются разнообразные модели. Их разновидности напрямую зависят от методов создания. Самые распространенные - это: правила, деревья решений, математические функции, а также всевозможные кластеры.</p>

111 <h3>Задачи майнинга</h3>

112 <p>В основе рассматриваемого приема лежит шаблонная концепция, которая представлена теми или иными закономерностями. Когда обнаруживаются скрытые данные, происходит решение DataMining.</p>

113 <p>Пока нет единого мнения относительно того, какие именно задачи относятся к майнингу. В основной массе источников указаны следующие варианты:</p>

114 <ul><li>кластеризация;</li>

115 <li>анализ связей;</li>

116 <li>ассоциация;</li>

117 <li>визуализация отклонений;</li>

118 <li>прогнозирование;</li>

119 <li>подведение конкретных итогов.</li>

120 </ul><p>Это - наиболее распространенные цели, которым отвечает метод работы с информацией, обозначенный как mining. Далее каждый вариант будет рассмотрен более детально.</p>

121 <h3>Классификация</h3>

122 <p>Одна из самых важных задач майнинга. Применяется при:</p>

123 <ul><li>оценке кредитоспособности населения;</li>

124 <li>получения информации о лояльности клиентуры;</li>

125 <li>распознавании образов;</li>

126 <li>медицинской диагностике.</li>

127 </ul><p>Когда аналитик знает свойства объектов каждого класса, новые наблюдения относятся к определенному "типу", данные свойства автоматически на него распространяются.</p>

128 <p>Если классов два, имеет место так называемая бинарная классификация. К ней сводятся более сложные задачи. Пример - вместо степеней риска кредитного характера вывести информацию о возможности выдачи займа - "да" или "нет".</p>

129 <p>При классификации используются разнообразные модели:</p>

130 <ul><li>нейронные сети;</li>

131 <li>машинные опорные векторы;</li>

132 <li>древа решений;</li>

133 <li>метод k-ближайших соседей;</li>

134 <li>алгоритм покрытия.</li>

135 </ul><p>Вследствие рассматриваемой задачи пространство признаков разбивается на области. В каждом "блоке" многомерные векторы рассматриваются под видом идентичных. Так, если объект отнесли к области пространства, ассоциированную с конкретным классом, он будет относиться к оному.</p>

136 <h4>Кластеризация</h4>

137 <p>Это - логическое продолжение идеи классификации. Более сложный процесс, так как изначально class информации не предопределен. Результат - это разбиение полученных материалов на различные группы.</p>

138 <h4>Ассоциация</h4>

139 <p>Поиск закономерностей между связанными событиями в наборе данных. Отличается тем, что реализация поставленной задачи осуществляется между несколькими событиями. Они должны произойти одновременно.</p>

140 <p>Самый известный алгоритм ассоциаций - Apriori.</p>

141 <h4>Последовательная ассоциация</h4>

142 <p>Обнаружение временных закономерностей между несколькими транзакциями. Вариант похож на ассоциации, но с другой целью. А именно - установить закономерности между событиями, которые связаны не случайно, а во времени.</p>

143 <p>Правило последовательности: после события А через определенный промежуток времени обязательно произойдет событие Б.</p>

144 <h4>Регрессия и прогнозирование</h4>

145 <p>При прогнозировании оцениваются пропущенные или будущие значения целевых численных данных. Чтобы реализовать соответствующие задачи, используют:</p>

146 <ul><li>математическую статистику;</li>

147 <li>нейронные сети.</li>

148 </ul><p>При воплощении задумки в жизнь учитываются нюансы исторических материалов.</p>

149 <h3>Дополнительные задачи</h3>

150 <p>Data Mining имеет несколько дополнительных задач. К ним относят:</p>

151 <ul><li>определение отклонений и выбросов;</li>

152 <li>оценивание;</li>

153 <li>анализ связей;</li>

154 <li>визуализация;</li>

155 <li>подытоживание;</li>

156 <li>свободный поиск (автоматическое исследование и открытие);</li>

157 <li>объяснение и описание.</li>

158 </ul><p>Сейчас майнинг встречается повсеместно. Его используют в самых разных направлениях человеческой деятельности.</p>

159 <h3>Сферы применения</h3>

160 <p>Чаще всего DataMining встречается при решении различных бизнес-задач. Именно в этой области эффективности задействования инструментария достигает максимума. А еще удается быстро окупить стоимость понесенных расходов на воплощение метода в жизнь.</p>

161 <p>В основном майнинг применяется в:</p>

162 <ul><li>науке;</li>

163 <li>бизнесе;</li>

164 <li>правительственных исследованиях;</li>

165 <li>веб-направлениях.</li>

166 </ul><p>Это - четыре основные области, в которых без рассматриваемой методики стало крайне трудно добиться эффективности и принимать грамотные решения.</p>

167 <h4>Бизнес-задачи</h4>

168 <p>Основном "работает" в направлениях:</p>

169 <ul><li>банковская деятельность;</li>

170 <li>финансы;</li>

171 <li>услуги по страхованию;</li>

172 <li>телекоммуникации;</li>

173 <li>электронная коммерция;</li>

174 <li>маркетинг;</li>

175 <li>фондовые рынки;</li>

176 <li>производство;</li>

177 <li>CRM.</li>

178 </ul><p>При помощи майнинга удается не только распознать мошенников по кредитным картам, но и привлечь новых клиентов, а также провести сегментацию рынков.</p>

179 <h5>Электронная коммерция и производство</h5>

180 <p>Используется Data Mining для того, чтобы сформировать рекомендательные системы и решения задач классификации посетителей веб-страничек. За счет этого удается делить "клиентов" на группы, а затем осуществлять маркетинг, который будет предельно отвечать потребностям, интересам и нуждам клиентуры.</p>

181 <p>В промышленном производстве соответствующее направление отвечает за решение следующих задач:</p>

182 <ul><li>анализ производственных ситуаций;</li>

183 <li>составление прогнозов по развитию производства (краткосрочного и долгосрочного характера);</li>

184 <li>разработка оптимизационных решений;</li>

185 <li>составление прогнозов относительно качества изделий в зависимости от тех или иных параметров технологических процессов;</li>

186 <li>выявление скрытых перспектив и закономерностей развития производства;</li>

187 <li>получение данных о скрытых факторах влияния;</li>

188 <li>выявление сред взаимодействия производственных процессов и выдвижение гипотез по корректировке их параметров;</li>

189 <li>выработка оптимизационных рекомендации по отношению управления производством;</li>

190 <li>визуализация проведенных анализов;</li>

191 <li>составление отчетов и проектов по допустимым решениям.</li>

192 </ul><p>За счет всего этого удается минимизировать затраты на создание продукции, которая максимально точно будет удовлетворять все запросы и потребности клиентов.</p>

193 <p>Продолжение статьи читайте<a>здесь</a>.</p>

194 <p>Хотите стать профессионалом в сфере обработки данных? Добро пожаловать на курсы в Otus:</p>

195 <ul><li><a>Промышленный ML на больших данных</a></li>

196 <li><a>Data Warehouse Analyst</a></li>

197 <li><a>Data Engineer</a></li>

198 </ul>