Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-03-10

1 <ul><li><a>Виды кодировок</a><ul><li><a>ASCII - базовая кодировка</a></li>

2 <li><a>Расширенные ASCII</a></li>

3 <li><a>Windows 1251</a></li>

4 </ul></li>

5 <li><a>Unicode</a><ul><li><a>UTF-32</a></li>

6 <li><a>UTF-16</a></li>

7 <li><a>UTF-8</a></li>

8 </ul></li>

9 <li><a>Блоки кириллицы</a></li>

10 <li><a>Непонятные символы на экране - исправление</a></li>

11 <li><a>Десятичная система</a></li>

12 <li><a>Как освоить кодирование информации</a></li>

13 </ul><p>Кодировка (или кодирование) - это процедура преобразования данных и сигналов из формы представления, удобной для восприятия человеком, в форму, которую распознает электронное устройство. Прием, позволяющий подготовить информацию для обработки, передачи, а также дальнейшего хранения.</p>

14 <p>Получаемые данные будут обрабатываться в виде логических единиц и нулей - в двоичной системе. Если числовые символы можно перевести в такую форму представления без проблем, то с кириллицей и другими буквами ситуация обстоит иначе. Буквы не поддерживают перевод в двоичный код. Вместо этого записи сначала преобразовываются в числа по специальной таблице символов. Далее компьютер считывает полученные данные и выдает результат.</p>

15 <p>В истории сложилось так, что были созданы несколько таблиц символов. Связано это с большим количеством национальных алфавитов, а также разными позициями относительно их написания.</p>

16 <p>Статья расскажет о существующих кодировках, а также поможет понять, как выразить символы кириллицы в UTF-8 и UTF-16.</p>

17 <h2>Виды кодировок</h2>

18 <p>Кодировать символы можно разными способами. Ситуация напрямую зависит от того, какая кодировка используется в системе. Существуют различные ее виды. Основные:</p>

19 <ul><li>ASCII;</li>

20 <li>CP866;</li>

21 <li>KOI8-R;</li>

22 <li>Windows 251;</li>

23 <li>Unicode.</li>

24 </ul><p>Чаще всего встречаются первая и последняя кодировки. Не все они распознают буквы русского алфавита. Далее каждый вариант будет рассмотрен более подробно. А еще предстоит выяснить, что делать, если при попытке закодировать кириллицу на экране появляются непонятные записи.</p>

25 <h3>ASCII - базовая кодировка</h3>

26 <p>ASCII - American Standard Code for Information Interchange. В русском языке произносится как "Аски". Базовая кодировка для работы устройств. Первые 128 ее символов являются наиболее используемыми. Они включают в себя:</p>

27 <ul><li>латинские буквы;</li>

28 <li>цифры (арабские);</li>

29 <li>служебные компоненты;</li>

30 <li>знаки препинания.</li>

31 </ul><p>Для кодировки используется один байт. Это привело к тому, что у ASCII появились расширенные версии. Изначально данные таблицы не предоставляли возможность работы с кириллицей и русскими символами. Вместо них на экране появлялись непонятные записи - "кракозябры".</p>

32 <p>Выше представлены стандартные таблицы ASCII. В них русского алфавита нет - он не предусмотрен действующими правилами.</p>

33 <h3>Расширенные ASCII</h3>

34 <p>ASCII положила начало развития актуальных современных таблиц кодирования информации. Изначально она содержала 128 составляющих, но в расширенной версии их стало 256. Это дало возможность добавления новых алфавитов для корректного распознавания информации и ее дальнейшего отображения на дисплее устройства.</p>

35 <p>Первая расширенная версия ASCII - это CP866. В ней реализована первая таблица кодировки русских букв. Верхняя часть CP866 полностью совпадает с базовым "Аски", а нижняя позволяет закодировать кириллицу и некоторые символы, которых нет на клавиатуре.</p>

36 <p>Выше расположена кодовая таблица CP866. Она распространялась компанией IBM и использовалась преимущественно в DOS-системах.</p>

37 <p>Кириллица с момента образования CP866 стала активно использоваться к компьютерной технике. Это привело к созданию совершенно новых кодировок с русскими символами. Пример - KOI8-R.</p>

38 <p>Здесь каждый символ тоже кодируется одним байтом. Первая часть соответствует классической ASCII. Во второй располагаются специальные записи, которых нет на клавиатуре, а также русские буквы.</p>

39 <p>KOI8-R отличается тем, что буквы в русского языка в ней располагаются не в алфавитном порядке. Они располагаются по принципу созвучия с латиницей. Данный прием предпринят для того, чтобы было удобнее переходить с кириллицы на латинские буквы, отбрасывая всего один бит.</p>

40 <h3>Windows 1251</h3>

41 <p>Дальнейшее развитие кодировок связано с появлением графических операционных систем. Для отображения информации на экране псевдографика стала ненужной. Так возникли группы, которые выступали в качестве расширенных версий ASCII, но являлись более совершенными. Псевдографика в них отсутствовала. Они получили название ANSI.</p>

42 <p>Наглядный и весьма распространенный вариант такой кодировки - это Windows 1251. Он отличается от предшественников следующими особенностями:</p>

43 <ol><li>Вместо псевдографики здесь располагаются недостающие символы кириллицы и русской типографики. Знак ударения - единственное исключение. Его там нет.</li>

44 <li>На замену псевдографики пришли элементы, приближенные к кириллице - буквы славянских языков.</li>

45 <li>Первые 32 элемента отведены под операции, перевод строки и пробел.</li>

46 <li>До 127 элемента расположены интернациональные компоненты, латинский алфавит, знаки препинания и математических действий, цифры.</li>

47 <li>Оставшееся "пространство" выделено под национальные элементы. Именно они отображают различные мировые алфавиты. </li>

48 </ol><p>Кодовая таблица, представленная выше - часть Windows 1251, отведенная под кириллицу и иные элементы. </p>

49 <h2>Unicode</h2>

50 <p>Unicode - кодировка, которая пользуется наибольшим спросом в современных компьютерных устройствах. Этот стандарт включает в себя почти все знаки существующих письменных языков. Он преобладает в Интернете. Был создан в 1991 году.</p>

51 <p>Unicode является многоязычным стандартом, базирующимся на ASCII. Он включает не только кириллицу, но и азиатские иероглифы. Выступает в качестве универсальной кодировки. Включает в себя несколько стандартов.</p>

52 <h3>UTF-32</h3>

53 <p>Первая вариация Unicode. Для кодирования одного элемента здесь используются 32 бита или 4 байта. Данная особенность приводит к тому, что закодированный кириллический символ в UTF-32 будет иметь вес в 4 раза больше, чем в ASCII. Несмотря на соответствующий недостаток, система стала предлагать закодировать знаки в количестве 232.</p>

54 <p>Все символы в UTF-32 непосредственно индексируемы. Найти тот или иной знак по номеру его позиции в файле удается очень быстро. Это привело к быстрой обработке операций по замене символьных данных.</p>

55 <h3>UTF-16</h3>

56 <p>UTF-16 - новый, более совершенный стандарт Unicode. После появления стала выступать базовым пространством для всех используемых печатных элементов. Кириллическая таблица в ней тоже есть.</p>

57 <p>Коды символов в UTF-16 содержатся в 16-ричной системе счислений. Увидеть их можно, если перейти в раздел Windows "Таблица символов". Она располагается в меню "Пуск"-"Программы"-"Стандартные"-"Служебные".</p>

58 <p>При помощи UTF-16 можно закодировать 65 536 элементов. Это число стало базовым для Unicode. Расширенное пространство включает в себя миллион дополнительных символьных записей.</p>

59 <p>При переходе с ASCII на UTF-16 размер исходного кода документа увеличивается уже не в 4, а в 2 раза. Связано это с использованием 2 байтов для кодирования одного и того же символа или шестнадцать бит.</p>

60 <h3>UTF-8</h3>

61 <p>Со временем был разработан стандарт UTF-8. В нем тоже есть кириллическая кодовая таблица. Носит название переменной длины. Несмотря на то, что в названии стандарта стоит 8, она действительно меняется. Каждый элемент может получить код длиной от 1 до 6 байт включительно. Практически стандартом используются компоненты до 4 байт. Латинские буквы здесь содержатся в одном байте, как и в ASCII.</p>

62 <p>В UTF-8 русские символы занимают по 2 байта, а грузинские - по 3. Текущий стандарт предусматривает возможность печати не только букв, но и смайликов. С UTF-8 хорошо работают даже системы, которые не ориентированы на Unicode. Связано это с тем, что базовая часть ASCII перешла в новый стандарт Юникода.</p>

63 <h2>Блоки кириллицы</h2>

64 <p>Unicode, начиная с версии 9.0, для кириллицы отвел пять различных блоков:</p>

65 Как называетсяДиапазон кодов типа hexВерсия UnicodeCyrillicСтандартная кириллицаОт 0400 до 04FF1.1Cyrillic SupplementДополненияОт 0500 до 052F3.2Cyrillic Extended-AРасширенная кириллица-АОт 2DE0 до 2DFF5.1Extended-BКириллица расширенного типа-BОт A640 до A69FExtended-CКириллица расширенная-CОт 1C80 до 1C8F9.0<p>Эти 4 раздела содержатся в кодовом пространстве Unicode 448 позиций. Из них 22 не определены.</p>

66 <p>Все символы кириллицы можно разбить на несколько групп:</p>

67 <ul><li>славянские алфавиты;</li>

68 <li>исторические буквы и старославянский (церковный славянский) алфавит;</li>

69 <li>дополнительные буквы для различных языков, использующих кириллицу;</li>

70 <li>церковнославянские буквотипы;</li>

71 <li>дополнительные буквы и символы для церковнославянского языка;</li>

72 <li>элементы для старой орфографии Абхазии;</li>

73 <li>старые формы представления кириллицы.</li>

74 - </ul><p>Несмотря на относительное совершенство Unicode, при использовании кодировок кириллицы в UTF-8 и других возникают некоторые проблемы. Пример - неоднозначность относительно кодирования некоторых букв. Для того, чтобы привести текст к единому стилю и корректному отображению, приходится определять каждым конкретным стан��артом форму нормализации информации.</p>

74 + </ul><p>Несмотря на относительное совершенство Unicode, при использовании кодировок кириллицы в UTF-8 и других возникают некоторые проблемы. Пример - неоднозначность относительно кодирования некоторых букв. Для того, чтобы привести текст к единому стилю и корректному отображению, приходится определять каждым конкретным стандартом форму нормализации информации.</p>

75 <h2>Непонятные символы на экране - исправление</h2>

76 <p>Любая страница данных может быть закодирована не только в ASCII, но и в Unicode. Главное правильно выбрать кодировку для русского текста. Если на экране вместо нормальных текстовых данных отображаются "кракозябры" (или непонятные надписи), значит возникла проблема перекодирования.</p>

77 <p>Для редактирования и создания новых текстовых документов можно использовать различные приложения, поддерживающие работу не только с Unicode. Тогда вероятность возникновения ошибок отображения информации будет сведена к минимуму. Пример - Notepad++. Он умеет подсвечивать синтаксис сотен языков программирования и разметки, что станет особо полезным при программировании проектов.</p>

78 <p>Чтобы страница, содержащая текст, была приведена от одного стандарта к другому, потребуется:</p>

79 <ol><li>Выделить текст в Notepad++.</li>

80 <li>Нажать на кнопку "Кодировка" на верхней панели инструментов.</li>

81 <li>Выбрать подходящий вариант. Пример - "Преобразовать в UTF-8".</li>

82 </ol><p>Желательно выбирать вариант кодировки UTF-8 без BOM для русского языка, отображаемого на странице в документе или на сайте. Этот прием поможет сохранить данные без сигнатуры (добавления лишних трех байтов в самое начало документов).</p>

83 <h2>Десятичная система</h2>

84 <p>При преобразовании информации из одной системы счисления (и кодировки) в другую, могут потребоваться ее десятичные значения. Такой вариант используется в ASCII и UTF-32. При помощи него можно перевести символ в удобную для восприятия компьютером форму. А еще - выполнить дальнейшую перекодировку в те или иные системы счисления.</p>

85 <p>Десятичная система помогает в Windows вводить различные символы при помощи сочетания с Alt. Для перевода кириллицы в UTF-8 format поможет таблица ниже.</p>

86 <p>В Unicode transformation символьных записей производится при помощи целых чисел без знаков. Необходимые преобразования помогут выполнить специализированные<a>сайты-конвертеры</a>. Самостоятельно такие операции практически не используются. Таблицы соответствия и конвертеры сильно облегчают эту задачу.</p>

87 <h2>Как освоить кодирование информации</h2>

88 <p>Русская кодировка может некорректно отображаться в некоторых приложениях, а также операционных системах. Связано это с тем, что не все стандарты кодирования данных имеют коды для соответствующих элементов.</p>

89 <p>Чтобы лучше разобраться в программировании, а также грамотном использовании стандартов кодирования и переводе текста из одной системы в другую, рекомендуется закончить дистанционные онлайн курсы. Они предлагают:</p>

90 <ul><li>постоянное кураторство;</li>

91 <li>домашние задания и интересные практические задачи;</li>

92 <li>возможность освоить инновационные профессии и направления в мире IT в сжатые сроки;</li>

93 <li>помощь в формировании портфолио;</li>

94 <li>разнообразие направлений - есть предложения как для новичков, так и для взрослых.</li>

95 </ul><p>По завершении курса обучения ученик получит сертификат в электронной форме, подтверждающий приобретенный спектр знаний и умений.</p>

96 <p>Хотите стать профессионалом в сфере обработки данных? Добро пожаловать на курсы в Otus:</p>

97 <ul><li><a>Промышленный ML на больших данных</a></li>

98 <li><a>Data Warehouse Analyst</a></li>

99 <li><a>Data Engineer</a></li>

100 </ul>