CSV — что это? Спецификация и стандарты, синтаксис, кодировки и символы, ошибки и рекомендации по работе с CSV
2026-02-26 22:27 Diff
https://ru.hexlet.io/qna/glossary/questions/chto-takoe-csv

CSV (Comma-Separated Values) — это минималистичный текстовый формат, созданный для хранения и передачи табличных данных между разными системами. Каждая строка в таком файле представляет собой отдельную запись, а значения внутри неё разделяются символами — чаще запятой, но нередко и точкой с запятой, табуляцией или другим разделителем. Этот формат не нуждается в сложной структуре: данные можно прочитать в обычном текстовом редакторе, а программы — импортировать их без дополнительных настроек.

CSV применяют, когда нужно быстро и без потерь обменяться таблицей между системами. Например, экспортировать отчёт из бухгалтерии в Excel, перенести список клиентов из CRM в Google Sheets или выгрузить данные из базы в аналитическую платформу. Формат универсален: он не зависит от программного окружения и поддерживается практически везде, где можно открыть текстовый файл.

История CSV восходит к первым электронным таблицам и базам данных конца 1970-х. Тогда, на фоне несовместимости программ, формат стал простейшим способом обмена структурированными данными. За десятилетия он не утратил актуальности: несмотря на появление JSON, XML и XLSX, CSV остаётся рабочим стандартом для переноса таблиц — лёгким, прозрачным и свободным от привязки к конкретным системам.

Спецификация и стандарты

Хотя CSV считается простым форматом, у него есть формальное описание — RFC 4180, опубликованное в 2005 году. Этот документ не делает формат жёстко стандартизированным, но описывает основные принципы, которые помогают программам корректно обмениваться данными.

RFC 4180: ключевые положения

  • Каждая строка файла — отдельная запись (обычно соответствует строке таблицы).
  • Поля внутри строки разделяются запятой, однако допускается использование других символов, например точки с запятой или табуляции.
  • Текстовые значения можно заключать в кавычки "...", особенно если внутри встречаются запятые, кавычки или переводы строк.
  • Кавычки внутри значения должны дублироваться: "Company ""ABC"" Ltd".
  • Перенос строк — CRLF (Windows) или LF (Unix), в зависимости от системы.

Когда стандарт обязателен, а когда есть допущения

RFC 4180 носит рекомендательный характер. Программы и сервисы могут использовать собственные разделители, кодировки или способы экранирования. Например, Excel в русской локализации применяет точку с запятой вместо запятой, чтобы избежать конфликта с десятичным разделителем.

Несовместимости и расхождения

Именно из-за отсутствия строгого единого стандарта CSV-файлы могут вести себя по-разному:

  • различаются разделители (;, ,, \t);
  • встречаются разные кодировки (UTF-8, Windows-1251);
  • некоторые программы добавляют лишние кавычки или пропускают их вовсе.

Эти мелкие отличия нередко вызывают ошибки при импорте или экспорте данных, особенно между системами, созданными в разных странах или на разных языках. Поэтому перед использованием CSV важно проверять настройки разделителя и кодировку.

Синтаксис CSV: базовые правила

Формат CSV выглядит просто, но имеет ряд правил, которые обеспечивают корректное чтение и запись данных. Нарушение этих правил может привести к смещению столбцов, потере информации или ошибкам импорта.

Строки и поля, разделители

Каждая строка файла соответствует одной записи таблицы. Поля внутри строки разделяются запятой, но в зависимости от локализации или программы могут использоваться и другие символы — точка с запятой, табуляция или вертикальная черта. Пример:

Кавычки и экранирование

Если значение содержит запятую, кавычку или перенос строки, его заключают в двойные кавычки:

Кавычки внутри значения удваиваются, чтобы программа не восприняла их как границы поля:

Обработка разделителя внутри поля

Разделитель, заключённый в кавычки, не считается границей поля. Это позволяет хранить значения, где запятая является частью текста.

Пустые поля

Если значение отсутствует, поле оставляют пустым между разделителями:

В первом случае пустое поле в конце строки, во втором — в середине.

Перенос строки внутри полей

Если в тексте встречается разрыв строки, он сохраняется, если значение заключено в кавычки:

Варианты конца строки

CSV поддерживает разные обозначения конца строки:

  • CR (\r) — используется в старых системах macOS;
  • LF (\n) — стандарт для Unix и Linux;
  • CRLF (\r\n) — используется в Windows.

Ограничения

Все строки в файле должны содержать одинаковое количество полей. Если где-то их больше или меньше, программа при импорте может «сдвинуть» столбцы и нарушить структуру таблицы.

Кодировки и символы

Работа с CSV-файлами напрямую зависит от выбранной кодировки — способа, которым символы представляются в виде байтов. Если кодировка не совпадает между программами, текст может отображаться с ошибками: вместо букв появятся «кракозябры» или вопросительные знаки.

Unicode, UTF-8, UTF-16, ANSI и другие

Наиболее распространённая кодировка для CSV сегодня — UTF-8, поскольку она поддерживает все языки и символы. Встречаются также UTF-16 (в Windows) и ANSI (старая система, зависящая от локали).

  • UTF-8 — универсальная кодировка, совместима с большинством систем и редакторов.
  • UTF-16 — часто используется в Microsoft Excel, но может вызывать несовместимость при открытии файла в других программах.
  • ANSI — ограничена национальными наборами символов (например, Windows-1251 для кириллицы).

При работе с файлами из разных систем важно уточнять, в какой кодировке они сохранены, и при необходимости перекодировать их в UTF-8.

BOM (Byte Order Mark)

Некоторые CSV-файлы, особенно созданные в Excel, содержат в начале невидимый символ BOM — Byte Order Mark. Он помогает программам определить, что файл записан в формате UTF-8 или UTF-16. Однако не все приложения обрабатывают BOM корректно. Например, при чтении файла в Python или других языках программирования BOM может восприниматься как часть первого поля.

Национальные и специальные символы

CSV часто используется для хранения текстов на разных языках, поэтому важно, чтобы кодировка поддерживала национальные алфавиты — кириллицу, диакритические знаки, иероглифы. Кроме того, в таблицах нередко встречаются специальные символы вроде кавычек, запятых, знаков «;» или «|» — их нужно правильно экранировать с помощью кавычек, чтобы избежать ошибок при импорте.

Проблемы и решения

  • Проблема: при открытии файла в Excel вместо кириллицы отображаются вопросительные знаки. Решение: сохранить файл в UTF-8 без BOM или выбрать нужную кодировку при открытии.
  • Проблема: в первой ячейке появляется странный символ «ï» или «?» — это следствие некорректного чтения BOM. Решение: удалить BOM вручную или открыть файл с указанием параметра encoding='utf-8-sig'.

Соблюдение единого стандарта кодировки (обычно UTF-8 без BOM) помогает избежать большинства проблем при работе с CSV-файлами на разных платформах.

Работа с CSV в языках и инструментах

CSV-файлы поддерживаются практически во всех языках программирования и офисных приложениях. Это делает формат универсальным для интеграций, анализа данных и автоматизации процессов.

Python

В Python работа с CSV возможна двумя основными способами:

Модуль csv — стандартная библиотека, позволяющая построчно читать и записывать данные:

*Pandas — библиотека для анализа данных, которая автоматически определяет разделители и кодировки: 

Java

Для Java существует несколько популярных библиотек:

  • OpenCSV — простой инструмент для чтения и записи CSV-файлов:
  • Apache Commons CSV — более гибкая библиотека, поддерживающая разные кодировки и форматирование.

C# / .NET

В экосистеме .NET CSV можно обработать с помощью TextFieldParser из Microsoft.VisualBasic.FileIO или библиотек вроде CsvHelper:

JavaScript / Node.js

На стороне браузера CSV можно читать через FileReader, а в Node.js — использовать библиотеки csv-parser или Papaparse:

Excel, LibreOffice, Google Sheets

Офисные программы автоматически открывают CSV-файлы и позволяют выбирать разделитель и кодировку. Excel нередко добавляет BOM и точку с запятой вместо запятой в русской локали, поэтому при экспорте в другие системы стоит проверять настройки. Google Sheets корректно обрабатывает UTF-8 и умеет экспортировать данные обратно в CSV.

SQL и СУБД

CSV часто используется для импорта и экспорта данных между базами.

  • В MySQL — команда:

В PostgreSQL — аналогичная команда:

Формат удобен тем, что его можно легко преобразовать в таблицу без дополнительных инструментов и сложных зависимостей.

Обработка больших CSV / масштабируемость

Потоковая (ленивая) обработка

Крупные CSV удобнее читать потоково: данные поступают построчно, без загрузки всего файла в память. В Python это csv.reader по открытому файловому объекту; в Node.js — стримы; в Java — BufferedReader или итераторы библиотек (OpenCSV, Commons CSV). Такой подход стабилен на файлах десятков гигабайт и позволяет сразу обрабатывать/писать результат.

Чтение по частям (чанки)

Когда нужна табличная обработка, используют пакетную загрузку фиксированными порциями. В Pandas — read_csv(..., chunksize=100_000), в PostgreSQL — COPY в промежуточную таблицу по частям, в Spark/Dask — распределённые партиции. Чанки дают контроль над памятью и позволяют распараллеливать этапы (очистка, агрегации, запись).

Ограничения памяти

Ключевые риски — попытка «распухнуть» датафрейм в RAM, дублирование структур, дорогое приведение типов. Практики: жёстко задавать типы столбцов при чтении, отключать авто-инференс, преобразовывать строки в категориальные, использовать генераторы/итераторы, временные файлы и поэтапную агрегацию (map → reduce).

Компрессия, архивирование, разделение на части

Сжатие уменьшает I/O и место на диске: gzip/bzip2/zstd читаются потоково большинством инструментов (Pandas compression='gzip', zstd; zcat | …). Для параллельной загрузки лучше хранить набором файлов (sharding: data_0001.csv.gz, data_0002.csv.gz) или партициями по дате/ключу. При экспорте фиксируйте одинаковую схему столбцов и одинаковый разделитель/кодировку во всех частях — это упростит последующую сборку и импорт.

Ошибки, исключения и безопасность

Работа с CSV кажется простой, но даже в таком формате часто возникают ошибки, особенно при импорте и интеграции данных из разных систем.

Неправильное количество полей

Если строки содержат разное число столбцов, программа может «сдвинуть» данные — значения окажутся не в тех колонках. Причина чаще всего в лишних разделителях или пропущенных кавычках. Проверять равномерность структуры стоит перед импортом с помощью валидации или предварительного просмотра.

Непарные кавычки

Классическая ошибка — когда поле открывается кавычкой, но не закрывается. В результате оставшаяся часть файла может восприниматься как одно длинное поле. Исправляется построчной проверкой или использованием специализированных парсеров, которые умеют восстанавливать структуру.

CSV-инъекции

Опасная, но часто игнорируемая уязвимость. Если CSV открывается в Excel или Google Sheets, строка, начинающаяся с =, +, - или @, может интерпретироваться как формула. Это даёт злоумышленнику возможность внедрить вредоносные выражения вроде =HYPERLINK("http://phishing-site.com").

Чтобы избежать таких атак, все значения, начинающиеся с этих символов, следует экранировать или преобразовывать в текст — например, добавлять апостроф перед ними.

Неподходящие разделители

Использование запятой, точки с запятой или табуляции без согласования может привести к ошибкам при открытии файла в другой программе. Важно заранее определить символ-разделитель и явно указать его при экспорте и импорте.

Ошибки кодировок

Самая частая причина искажённых символов. Разные системы используют разные кодировки — UTF-8, UTF-16, Windows-1251. При несовпадении отображаются «кракозябры». Оптимальный способ — всегда сохранять файлы в UTF-8 без BOM и при открытии явно указывать кодировку.

Сравнение CSV с альтернативами

Формат CSV прост и универсален, но у него есть конкуренты, лучше подходящие для определённых задач.

JSON

JSON хранит данные в виде пар «ключ–значение» и поддерживает вложенные структуры. Он удобен для передачи сложных объектов между веб-сервисами и приложениями. Однако для табличных данных JSON менее компактен и требует больше ресурсов при чтении.

XML

XML использует теги и иерархическую структуру, что делает его гибким, но громоздким. Он подходит для систем, где важна валидация схемы и строгое описание данных. CSV выигрывает у XML в простоте и размере файлов.

Parquet, Avro, Feather

Эти форматы применяются в аналитике и обработке больших данных. Они поддерживают сжатие, типизацию и эффективное чтение по столбцам. Parquet и Avro используют в Apache Spark, Hadoop, Snowflake. Однако для простого обмена таблицами они избыточны — CSV остаётся удобнее и понятнее.

Библиотеки, утилиты и инструменты

CLI-утилиты.

  • csvkit — набор инструментов для анализа CSV в терминале: фильтрация, сортировка, конвертация.
  • csvtool, mlr (Miller) — лёгкие утилиты для построчной обработки больших файлов.

Графические редакторы.

  • Modern CSV, CSVed, **Ron’s Editor **— позволяют редактировать таблицы без потери форматирования.
  • Веб-варианты — ExtendsClass, CSV Viewer Online, где можно открыть и править файл прямо в браузере.

Конверторы и онлайн-сервисы.

  • Онлайн-инструменты для преобразования CSV в JSON, XML, Excel и обратно.
  • Утилиты Python (pandas.to_csv(), read_csv()) и Node.js (csvtojson) выполняют конвертацию программно.

Рекомендации и лучшие практики

  • Использовать единообразный разделитель (; или ,) и согласовать его с системой-получателем.
  • Всегда явно указывать кодировку UTF-8 без BOM.
  • Экранировать кавычки и специальные символы внутри текстовых полей.
  • Добавлять строку заголовков с понятными именами столбцов.
  • Перед импортом выполнять валидацию: проверять количество полей, кодировку и наличие непарных кавычек.

Заключение

CSV остаётся самым доступным и гибким способом обмена табличными данными. Он не требует специализированных библиотек, читается в любом редакторе и легко интегрируется с системами.

Однако у формата есть ограничения: отсутствие типизации, риск ошибок при кодировках и низкая надёжность при работе с большими объёмами данных.

Современные тенденции показывают, что CSV постепенно уступает место более структурированным форматам вроде Parquet и Avro, но сохраняет свою актуальность как лёгкий и понятный инструмент для быстрой передачи информации между приложениями.