вкл. 04Командный вкладыш
19 ноября 2026 г.

Лист 3 из 4, ловушки

Ловушки кириллицы

Двенадцать мест, где команда ведёт себя иначе, чем в англоязычной справке. Почти все расхождения объясняются тремя вещами: локалью, кодировкой файла и тем, что оболочка раскрывает аргументы раньше, чем программа их увидит.

Отметка

Проверять на своей машине

Копия экрана терминала с русским текстом и следами неверной перекодировки
Фото 3. Следы двойной перекодировки: пары символов вместо русских букв.
  1. 25

    Локаль перекрывает всё остальное

    Переменная LC_ALL сильнее LANG и любой отдельной категории. Если она равна C, сортировка становится байтовой, а классы символов в grep перестают работать на кириллице. Проверка: locale покажет текущее значение, а printf с %s и словом из шести русских букв даст разную ширину при разных локалях.

    LC_ALL=C sort ru.txt | head -3
  2. 26

    UTF-8 в терминале не значит UTF-8 в файле

    Файл из старой базы обычно в cp1251 или cp866. Команда file -i печатает charset, но на коротких файлах ошибается. Надёжнее взять первые сто строк и прогнать через iconv с явным источником: если преобразование прошло без ошибок, гипотеза верна.

    iconv -f cp1251 -t UTF-8 old.txt > new.txt
  3. 27

    Двойная перекодировка портит текст необратимо

    Если файл уже в UTF-8, а его снова прогоняют через iconv -f cp1251, каждая русская буква превращается в пару символов. Признак: в тексте появляются последовательности вида РџСЂРё. Обратное преобразование возможно только до первой потери байта, поэтому перед правкой делают копию.

    file -i new.txt
  4. 28

    grep без -P не понимает юникодные классы

    Выражение \p{Cyrillic} работает только в режиме Perl. В базовом режиме шаблон трактуется как набор байтов, и точка совпадает с одним байтом, а не с одной буквой. Для поиска русских слов надёжнее явный диапазон или предварительная нормализация.

    grep -P "\p{Cyrillic}+" notes.txt
  5. 29

    cut -c режет байты в BSD

    В GNU cut -c считает символы, в BSD на macOS та же опция считает байты. Русская буква занимает два байта в UTF-8, поэтому вывод выглядит обрубленным. Переносимый вариант: awk с substr в локали UTF-8 или переключение на cut -b с пониманием последствий.

    awk '{print substr($0,1,20)}' ru.txt
  6. 30

    tr работает побайтово

    Утилита tr меняет байты, а не символы. Замена регистра для кириллицы через tr не работает: диапазон a-z не включает русские буквы. Для регистра нужен sed с юникодными классами или отдельный инструмент, который знает про многобайтовые символы.

    sed "s/\bпривет\b/Привет/g" ru.txt
  7. 31

    Порядок сортировки зависит от локали

    В локали ru_RU.UTF-8 буква ё стоит после е, а дефис и пробел игнорируются при сравнении. В локали C порядок строго байтовый, и заглавные буквы идут раньше строчных. Для сравнения списков в скрипте всегда ставят LC_ALL=C, чтобы результат не зависел от машины.

    LC_ALL=C sort -u a.txt > a.sorted
  8. 32

    Пробел в имени ломает цикл

    Конструкция for f in $(find . -name "*.txt") разваливается на именах с пробелом и переводом строки. Правильный обход читает нулевой разделитель: find -print0 вместе с while read -r -d "". Это единственный способ, который одинаково работает в bash и zsh.

    find . -name "*.txt" -print0 | while IFS= read -r -d "" f; do echo "$f"; done
  9. 33

    Архив помнит кодировку имён

    zip из Windows хранит имена в cp866 без флага UTF-8. При распаковке на Linux имена превращаются в мусор. Опция -O cp866 помогает не во всех сборках unzip, поэтому архив лучше пересобрать на месте или распаковать через python с явной кодировкой.

    unzip -O cp866 archive.zip -d out/
  10. 34

    cron не наследует локаль

    Задание в cron запускается с минимальным окружением: LANG пуст, PATH короткий. Скрипт, который в терминале печатал русский текст, из cron выдаёт cp1251 или падает на разборе даты. Лечение: явные LANG, LC_ALL и PATH в первых строках скрипта.

    LANG=ru_RU.UTF-8; export LANG
  11. 35

    ssh передаёт окружение только по разрешению

    Переменные уходят на сервер, если клиент отправил их через SendEnv, а сервер разрешил AcceptEnv. По умолчанию LANG не передаётся, и удалённая сессия работает в POSIX. Для интерактивной работы проще задать локаль в профиле сервера.

    ssh -o SendEnv=LANG host
  12. 36

    Дата в логах зависит от локали процесса

    Служба, запущенная с локалью C, пишет месяц по-английски, а ваш grep ищет русское название. Разбор логов по названию месяца ненадёжен: используют числовой формат или date -Iseconds. Это же правило действует для отчётов, которые потом читает человек.

    date -Iseconds

Общее правило

Любая ловушка из списка снимается одним действием: явно назвать локаль и кодировку в начале скрипта. Строка LANG=ru_RU.UTF-8 и LC_ALL=ru_RU.UTF-8 делает поведение предсказуемым в интерактивной сессии, в cron и на удалённом хосте. Для машинного сравнения вместо неё ставят LC_ALL=C и не смешивают два режима в одном конвейере.

Если после явной локали результат всё равно расходится, дело в версии утилиты. GNU и BSD отличаются в мелочах, которые не описаны в man: суффикс для sed -i, поведение xargs на пустом вводе, поддержка -O в unzip. Именно поэтому в каждой позиции указано, на какой системе поведение проверено.

Полный перечень позиций: 01–24. Коды возврата и сигналы: отдельный лист.