Введение в Linux (110

9. КОМАНДЫ ДЛЯ ОБРАБОТКИ ТЕКСТА

Примеры на файле:

1 2 3D

03 1 4

1 2 3d

1 2 3

sort – команда для сортировки.

uniq – выделяет уникальные строки. Требует перед собой сортировки

cut – обрезка по полям, символам, блокам.

21

wc(Word Count) – подсчёт количества символов, строк, слов.

tr (Translate) – преобразования множеств символов.

fold – форматирование по ширине (умолчание 80 – как в терминалах).

fold -w 5

выровнять на ширину 5 1 2 3

D

03 1

4

1 2 3 d

1 2 3

expand, unexpand – преобразование табуляции в пробелы и наоборот, nl – печать номеров строк.

22

nl

1 1 2 3D

2 03 1 4

3 1 2 3d

4 1 2 3

head, tail – начало или конец файла (по умолчанию первые/последние 10 строк с края).

less, more – пейджеры (утилиты для просмотра текстовых файлов), dos2unix, unix2dos (0D0A → 0A),

iconv – конвертация кодировок, diff – разница файлов,

rev – перевернуть строки справа налево. grep – поиск текста,

•grep 'pattern' file(s),

•grep -A3 -B4 – 3 строки до и 4 строки после,

•grep -c = wc,

•grep -i – ignore-case,

•grep -q – quiet,

•grep -R – рекурсивный поиск,

•grep -v – not match,

•[abcde]

•[a-e]

23

•[:alnum:] ~ [A-Za-z0-9]

•для включения спецсимволов,

•] – ставим на первое место ([]abc]),

•^ – не первое место ([ab^c]),

•- – последнее место ([abc-]),

•. – любой символ,

•^,$

•\<, \> \b, \B

•RE followed by

? – 0 или 1,

* – 0 или более,

+ – 1 или более,

{n} – ровно n,

{n,} - минимум n,

{n,m} – от n до m,

•| – любой из шаблонов,

•могут быть связаны – тогда ставить подряд.

24

10. SED

sed – потоковый обработчик текста (Stream EDitor), sed <script> <file>

Порядок работы.

1.Берет следующую строку.

2.Удаляет \n.

3.Помещает содержимое строки в т. н. pattern-space.

4.Запускаются команды.

5.Добавляется \n.

6.Печатается на экран.

7.Чистится pattern-space.

8.Переход к новой строке.

Адреса.

NUMBER – номер строки, FIRST~STEP – номар строки, шаг,

/REGEXP/ – строка, совпадающая с RegExp,

Если много слэшей – можно использовать процент (\%REGEXP%), /REGEXP/I – без учета регистра,

/REGEXP/M – для многострочных шаблонов, ADDR1,ADDR2 – диапазон адресов, ADDR1,+N – адрес + N строк далее,

ADDR1,~N – адрес, и до следующей строки, кратной N, ADDR! – отрицание (все кроме адреса),

$ – последняя строка.

Регулярные выражения (используется жадный алгоритм).

CHAR *, \*? \+

\{I\} – ровно I,

25

\{I,J\} – от I до J,

\{I,\} – не менее I, \(REGEXP\) – группировка,

. (точка) – любой символ), ^,$ – начало, конец строки,

[LIST], [^LIST] – множества символов, REGEXP1 | REGEXP2 – ИЛИ REGEXP1REGEXP2 – конкатенация,

\DIGIT – возврат к группе REGEXP в скобках, \n – конец строки.

Команды.

# – комментарий,

q [EXIT-CODE] – выход,

d – удалить pattern-space, перейти к следующей строке, p – напечатать pattern-space,

n – забрать (добавить) следующую строку в pattern-space, {COMMAND} – группировка команд, s/REGEXP/REPLACEMENT/FLAGS – замена,

Флаги.

g – все вхождения,

NUMBER – только вхождение номер NUMBER, p – если замена, то печатать,

w – если замены – печатать в файл, i(I) – без учёта регистра.

11. AWK

AWK – текстовый процессор, шаблонно-ориентированный. Позволяет больше разных возможностей по сравнению с SED.

Структура файлаAWK: шаблон {действие} шаблон {действие}

...

Порядок работы:

1.Текст разделяется на записи (ROW), разделенные \n, и поля (FIELD), разделенные пробелом или табуляцией.

2.Для каждой строки сравнивает шаблон.

3.Если шаблон подходит – выполняет указанные действия.

27

4.Переходит к следующему шаблону.

5.Если не указан шаблон – делает для всех строк.

6.Если не указано действие – просто печатает строку.

7.BEGIN, END – специальные шаблоны, выполняемые в начале и конце обработки всего текста.

Синтаксис.

Условный оператор.

if (condition) then

{

action

}

else

{

action

}

Циклы.

for (;;)

for (a in array) do{

}while ()

while () {

}

print – печать текущей записи print expr-list

print fmt expr-list $1 – поле 1 $0 – вся строка

пробел – конкатенация

~ - соответствие регулярному выражению !~ - несоответствие регулярному выражению

28

Математические операторы:

atan2()

cos()

sin()

exp()

int()

log()

rand() - 0..1 sqrt

Строковые операторы:

index (str, substr) length(str) substr(str, from, len)

Переменные:

RS, FS – входные разделители строк и полей, ORS, OFS – выходные разделители полей, FNR – текущий номер строки,

NF – количество полей текущей строки.

Примеры.

1.

BEGIN { print “Hello world!”; exit }

2.

BEGIN {max=0}

{if (length($0) > max) max = length($0); } END { print max; }

12. LaTEX – СИСТЕМА ПОДГОТОВКИ ДОКУМЕНТОВ

CentOS – texlive-latex.

Пример построения отчёта.

\documentclass [11pt] {article} \author {A. Vladimirov}

\title {Test report}

29

\begin {document} \maketitle

\begin {tabular} {|c|c|} \hline

User & Home directory\\ \hline

User1 & /home/user1 \\ \hline

User2 & /home/user2 \\ \hline

\end {tabular} \\ Total count : 2 \end {document}

В результате получаем:

13. ТЕКСТОВЫЕ РЕДАКТОРЫ

Изначально для правки текста использовался редактор ed, который не выводил то, что правится. Просто вводились команды и всё. После ed поя-

вился vim (vi – от слова visual).

Современные редакторы (консоль):

1.ed,

2.nano (pico) – простой и понятный,

3.vi / vim – сейчас уже vim, это Vi Improved, имеет намного больше возможностей,

30