sed

sed (от англ. Stream EDitor) — потоковый текстовый редактор (а также язык программирования), применяющий различные предопределённые текстовые преобразования к последовательному потоку текстовых данных.

Первоначально был написан как UNIX-утилита Ли Макмэхоном (англ. Lee E. McMahon) из Bell Labs в 1973—74 годах. Сейчас sed доступен фактически для любой операционной системы, поддерживающей работу с командной строкой.

Описание

sed получает входной поток (обычно файл) построчно, редактирует каждую строку согласно правилам, определённым в sed-скрипте с использованием простого языка sed, и затем выводит результат в выходной поток.

sed часто называют неинтерактивным текстовым редактором. Он отличается от обычных текстовых редакторов «инвертированностью» по отношению к тексту и набору команд редактирования. Обычные текстовые редакторы вначале загружают весь текст документа, а затем применяют к нему команды по одной, в то время как sed вначале загружает в себя набор команд, а затем применяет весь набор команд к каждой строчке текста. Так как одновременно в памяти находится только одна строка, sed может обработать произвольно большие текстовые файлы.

Набор команд sed сделан по образцу редактора ed, однако необходимо помнить о его инвертированности. Например, команда 25d редактора ed означает «идите к строке 25 и удалите её», в то время как та же команда sed означает «если это строка с номером 25, то удалите (не выведите) её». Известное исключение — это команды копирования и перемещения, которые охватывают диапазон строк и таким образом не имеют прямых эквивалентов в sed. Вместо этого sed вводит дополнительный буфер, названный «пространством захвата», и дополнительные команды для управления им. Например команда «скопировать строку 25 в строку 76» (25t76) в ed была бы закодирована как две отдельных команды (25h; 76g) в sed для того, чтобы сохранить строку в пространстве захвата до тех пор, пока данные не будут извлечены.

Следующий пример демонстрирует типичное использование sed:

 sed -e 's/oldstuff/newstuff/g' inputFileName > outputFileName

Здесь s — замена; g — глобально, что означает «во всей строке». После первого прямого слеша расположено регулярное выражение для поиска, после второго — выражение для замены. Однако следует помнить, что помимо слеша может использоваться и другой символ. Так например выражения

echo 123123| sed 's/1/5/g'
echo 123123| sed 's%1%5%g'
echo 123123| sed 's$1$5$g'
echo 123123| sed 's|1|5|g'

полностью равнозначны.

Команда замены (s///) безусловно является самой мощной и часто используемой командой sed. Перенаправление стандартного вывода «> outputFileName» можно опустить, тогда sed выведет результат на экран.

В Unix команда sed часто используется в виде фильтра в конвейере (| или pipe):

 generate_data | sed -e 's/x/y/'

Таким образом генерируются данные и передаются на конвейер, чтобы заменить x на y.

Несколько команд могут быть объединены в одном файле (например subst.sed) и затем применены в виде:

 sed -f subst.sed inputFileName > outputFileName

Помимо замены, возможны и другие формы простой обработки. Например, следующий сценарий удаляет пустые строки или строки, которые содержат только пробелы:

 sed -e '/^\s*$/d' inputFileName

Последний пример использовал часть регулярных выражений-метасимволов:

• ^ Соответствует началу строки
• $ Соответствует концу строки
• . Соответствует любому единственному символу
• * Соответствует нулю или более повторений предшествующего символа
• [ ] Соответствуют одному любому из символов включённых в квадратные скобки, [ ]

Комплексные конструкции sed возможны до такой степени, что он может быть представлен как высоко специализированный, хотя и простой, язык программирования. Потоком управления, например, можно управлять при помощи метки (двоеточие, за которым следует строка, которая должна быть именем метки) и инструкции ветвления b; инструкция b, за которой следует правильное имя метки, переместит обработку в блок после метки; если метка не существует, тогда ветвление завершит сценарий (скрипт).

sed — это одна из наиболее ранних команд Unix, которые позволяли обрабатывать файлы данных из командной строки. sed развился как естественный преемник популярной команды grep. Родственный более позднему языку программирования AWK, sed позволил применять в shell скриптах мощную и интересную обработку данных, и был одним из первых инструментов Unix, действительно поощрявшим адекватно использовать регулярные выражения.

По скорости выполнения sed обычно быстрее чем Perl (книга Р. Л. Шварц, Т. Кристиансен, «Изучаем Perl», стр. 227: как правило, они [конвертированные в Perl sed-программы] работают значительно быстрее (благодаря хорошо оптимизированным Perl-программам обработки регулярных выражений)) и заметно быстрее чем AWK.

sed и awk часто считаются прародителями и вдохновителями языка Perl, и в особенности синтаксиса «s///» из примера выше.

У языка sed нет переменных, есть только примитив GOTO и выполняющие ветвление функциональные возможности; тем не менее это тьюринг-полный язык.

GNU sed имеет несколько новых особенностей, например замещающая правка файлов (замена первоначального файла результатом работы sed). Замещающая правка часто используется вместо сценария ed, например

 sed -i 's/abc/def/' file

может использоваться вместо

 ed file
 1,$ s/abc/def/
 w
 q

Существует расширенная версия sed, называемая Super-sed (ssed), которая включает регулярные выражения, совместимые с Perl.

Ссылки

• Системное руководство по sed (рус.)
• Неинтерактивный текстовый редактор sed (рус.)
• Документация по sed (рус.)
• Однострочные скрипты sed (рус.)
• Однострочные скрипты sed (англ.)
• Редактирование /etc/network/interfaces в Debian средствами sed (рус.)
• Просто о sed (рус.)
• Шпаргалка Sed (англ.)
• sed на SourceForge.net (англ.)
• The sed FAQ (англ.)
• sed … потоковый редактор (англ.)
• Super-sed (англ.)
• Спецификация sed в Единой спецификации UNIX на сайте The Open Group(англ.)

• Игра сокобан на sed (англ.)
• Тетрис на sed
• Описание и примеры использования sed(рус.)
• Sed for Windows (англ.)