Лист 3 из 4, ловушки
Ловушки кириллицы
Двенадцать мест, где команда ведёт себя иначе, чем в англоязычной справке. Почти все расхождения объясняются тремя вещами: локалью, кодировкой файла и тем, что оболочка раскрывает аргументы раньше, чем программа их увидит.
Отметка
Проверять на своей машине

- 25
Локаль перекрывает всё остальное
Переменная LC_ALL сильнее LANG и любой отдельной категории. Если она равна C, сортировка становится байтовой, а классы символов в grep перестают работать на кириллице. Проверка: locale покажет текущее значение, а printf с %s и словом из шести русских букв даст разную ширину при разных локалях.
LC_ALL=C sort ru.txt | head -3 - 26
UTF-8 в терминале не значит UTF-8 в файле
Файл из старой базы обычно в cp1251 или cp866. Команда file -i печатает charset, но на коротких файлах ошибается. Надёжнее взять первые сто строк и прогнать через iconv с явным источником: если преобразование прошло без ошибок, гипотеза верна.
iconv -f cp1251 -t UTF-8 old.txt > new.txt - 27
Двойная перекодировка портит текст необратимо
Если файл уже в UTF-8, а его снова прогоняют через iconv -f cp1251, каждая русская буква превращается в пару символов. Признак: в тексте появляются последовательности вида РџСЂРё. Обратное преобразование возможно только до первой потери байта, поэтому перед правкой делают копию.
file -i new.txt - 28
grep без -P не понимает юникодные классы
Выражение \p{Cyrillic} работает только в режиме Perl. В базовом режиме шаблон трактуется как набор байтов, и точка совпадает с одним байтом, а не с одной буквой. Для поиска русских слов надёжнее явный диапазон или предварительная нормализация.
grep -P "\p{Cyrillic}+" notes.txt - 29
cut -c режет байты в BSD
В GNU cut -c считает символы, в BSD на macOS та же опция считает байты. Русская буква занимает два байта в UTF-8, поэтому вывод выглядит обрубленным. Переносимый вариант: awk с substr в локали UTF-8 или переключение на cut -b с пониманием последствий.
awk '{print substr($0,1,20)}' ru.txt - 30
tr работает побайтово
Утилита tr меняет байты, а не символы. Замена регистра для кириллицы через tr не работает: диапазон a-z не включает русские буквы. Для регистра нужен sed с юникодными классами или отдельный инструмент, который знает про многобайтовые символы.
sed "s/\bпривет\b/Привет/g" ru.txt - 31
Порядок сортировки зависит от локали
В локали ru_RU.UTF-8 буква ё стоит после е, а дефис и пробел игнорируются при сравнении. В локали C порядок строго байтовый, и заглавные буквы идут раньше строчных. Для сравнения списков в скрипте всегда ставят LC_ALL=C, чтобы результат не зависел от машины.
LC_ALL=C sort -u a.txt > a.sorted - 32
Пробел в имени ломает цикл
Конструкция for f in $(find . -name "*.txt") разваливается на именах с пробелом и переводом строки. Правильный обход читает нулевой разделитель: find -print0 вместе с while read -r -d "". Это единственный способ, который одинаково работает в bash и zsh.
find . -name "*.txt" -print0 | while IFS= read -r -d "" f; do echo "$f"; done - 33
Архив помнит кодировку имён
zip из Windows хранит имена в cp866 без флага UTF-8. При распаковке на Linux имена превращаются в мусор. Опция -O cp866 помогает не во всех сборках unzip, поэтому архив лучше пересобрать на месте или распаковать через python с явной кодировкой.
unzip -O cp866 archive.zip -d out/ - 34
cron не наследует локаль
Задание в cron запускается с минимальным окружением: LANG пуст, PATH короткий. Скрипт, который в терминале печатал русский текст, из cron выдаёт cp1251 или падает на разборе даты. Лечение: явные LANG, LC_ALL и PATH в первых строках скрипта.
LANG=ru_RU.UTF-8; export LANG - 35
ssh передаёт окружение только по разрешению
Переменные уходят на сервер, если клиент отправил их через SendEnv, а сервер разрешил AcceptEnv. По умолчанию LANG не передаётся, и удалённая сессия работает в POSIX. Для интерактивной работы проще задать локаль в профиле сервера.
ssh -o SendEnv=LANG host - 36
Дата в логах зависит от локали процесса
Служба, запущенная с локалью C, пишет месяц по-английски, а ваш grep ищет русское название. Разбор логов по названию месяца ненадёжен: используют числовой формат или date -Iseconds. Это же правило действует для отчётов, которые потом читает человек.
date -Iseconds
Общее правило
Любая ловушка из списка снимается одним действием: явно назвать локаль и кодировку в начале скрипта. Строка LANG=ru_RU.UTF-8 и LC_ALL=ru_RU.UTF-8 делает поведение предсказуемым в интерактивной сессии, в cron и на удалённом хосте. Для машинного сравнения вместо неё ставят LC_ALL=C и не смешивают два режима в одном конвейере.
Если после явной локали результат всё равно расходится, дело в версии утилиты. GNU и BSD отличаются в мелочах, которые не описаны в man: суффикс для sed -i, поведение xargs на пустом вводе, поддержка -O в unzip. Именно поэтому в каждой позиции указано, на какой системе поведение проверено.
Полный перечень позиций: 01–24. Коды возврата и сигналы: отдельный лист.