книги хакеры / журнал хакер / 073_Optimized

Сравнение производительности fs при работе с маленькими файлами

этой страничке описывается тестирование ext2, ext3 во всех режимах журнала, JFS и ReiserFS в разных режимах для больших и маленьких файлов. Жаль, что тестировалось все на ядрах 2.4 и 2.5, а не 2.4 и 2.6, поэтому комментировать буду только ядро 2.4 (2.5 установлено далеко не у всех).

Ориентироваться будем на загрузку CPU, ведь это решающий фактор при определении быстродействия системы - чем выше загрузка CPU, тем вероятнее система будет тормозить. При условии последовательного блочного вывода (Sequential Output, Block) минимальную нагрузку на процессор дает ext2 (13%), но поскольку она не журналируемая, то ее к особому вниманию не принимаем. Среди журналируемых файловых систем лидером по самой низкой загрузке CPU стала JFS (14%). При минимальной загрузке процессора JFS еще и достаточно быстра - 47178 Кб/с. По быстродействию в этом режиме она лидер (ext2 мы договорились не считать). На втором месте по быстродействию - ReiserFS - 46640 Кб/с, также эта файловая система на втором месте и по загрузке процессора - 24%. Ext3 досталось третье место. Однако не спеши с умозаключениями. Работа файловой системы не ограничивается последовательным блочным выводом, есть еще и другие режимы.

К сожалению, размер статьи не позволяет прокомментировать все режимы, поэтому сразу перейдем к маленьким файлам. Будем рассматривать последовательный блочный ввод. По загрузке процессора и по производительности картина та же: на первом месте JFS, затем ReiserFS, потом ext3.

Не могу удержаться, чтобы не прокомментировать результаты для ядра 2.5.65 - это уже почти 2.6. Для работы с большими файлами я бы выбрал JFS. По производительности она лидирует, давая 49510 Кб/с, а по загрузке процессора не сильно отличается от XFS и все той же ext2 - 14% против 13%. При работе с маленькими файлами опять лидер JFS: 49343 Кб/с и 14% против 46727 Кб/с и 13% у XFS. Осталось добавить, что тестирование проводилось с помощью Bonnie++. Скорее всего, другие программы покажут иные результаты. Дополнительные условия и конфигурацию тестируемой системы можно узнать по адресу: http://oregonstate.edu/~kveton/fs/page1.php. z

j1m (j1m@list.ru)

Äве наиболее часто выполняемые над текстом операции - сортировка и поиск. Начнем с сортировки, а поиск рассмотрим позже. Для сортировки строк применяется

команда sort(1) (кто бы мог подумать :), которая читаетМАЛЕНЬКИЕ ПОМОЩНИКИ

входной поток и пишет отсортированные строки в выходной поток.

У программы есть несколько интересных флагов: -f - игнорировать регистр букв, -d - сортировать только по буквам и цифрам, -n - сортировать по цифрам, -r - обратная сортировка.

Команде можно указать, по какому полю выполнять сортировку. Поля - это последовательности символов, разделенные пробелом или табуляцией. Для этого достаточно указать флаг +номер_поля. Так, можно отсортировать список файлов по размеру:

$ ls -l | sort +5 -n

Для разбиения строк удобно использовать cut(1). С помощью этой программы можно вырезать из строк отдельные части, которые и будут выведены на экран. Приведем пример:

$ echo UNIXLinuxBSD | cut -c 5-10

На экран будет выведено «Linux». Как это работает? С помощью флага -c мы задали диапазон позиций символов, которые хотим увидеть. Слово «Linux» как раз и занимает позиции с пятой по десятую в строке «UNIXLinuxBSD». Одним из основных достоинств cut является способность работать с полями. Для этого предусмотрено два флага: -d разделитель_полей и -f список_полей. С помощью первого можно указать символ, который будет использоваться в качестве разделителя полей (по умолчанию знак табуляции), а с помощью второго - список выводимых полей. Пример:

$ date

Ñáò Íîÿ 13 17:57:08 GMT+6 2004 $ date | cut -d " " -f 4

17:57:08

Здесь мы указали в качестве разделителя полей знак пробела и вывели на STDOUT четвертое поле.

Довольно интересной и полезной программой является tr(1). Она заменяет символы, указанные в первом аргументе, на соответствующие символы во втором аргументе. Так, команда

$ cat file | tr a e

заменит все буквы «a» на «e». Можно использовать диапазоны:

$ cat file | tr 'a-z' 'A-Z'

и заменить все строчные буквы прописными - это, кстати, наиболее частое применение этой команды. Указав флаг -d, можно удалять символы из текста.

Часто бывает необходимо просто подсчи- тать количество строк или слов в тексте. Это легко проделать при помощи простенькой программки wc(1). По дефолту она печатает количество строк, слов и символов во вход-

Комбинируем фильтры

Ты видел редактор без интерфейса

èвообще без интерактивного общения

ñпользователем?

Смотрим логи

НЕКОТОРЫЕ ВСТРОЕННЫЕ ФУНКЦИИ AWK

lenght(s) - возвращает длину строки s;

index(s1, s2) - возвращает позицию вхождения строки s2 в строке s1;

substr(s, i, n) - возвращает подстроку в n символов подстроки s, начиная с i;

split(s, arr, sep) - разбивает строку s на основе разделителя sep и помещает результат в массив arr;

system(c) - выполняет внешнюю команду s и возвращает код возврата;

printf(format, a1, a2, ...) - выводит данные в соответствии с форматом printf(3);

toupper(str) - переводит копию строки str в верхний регистр; tolower(str) - переводит копию строки str в нижний регистр; cos(x) - возвращает косинус x;

sin(x) - возвращает синус x;

sqrt(x) - возвращает квадратный корень x.

ПОСТАВЬ ВСЕ НА КОНВЕЙЕР!

НАЙДЕТСЯ ВСЕ!

Назначение утилиты grep(1) - поиск в текстовых файлах. Он выдает все строки, содержащие образец поиска. Например команда

$ ls | grep .txt

покажет имена файлов с расширением

.txt. В качестве образца поиска можно использовать регулярное выражение. Некоторые полезные флаги: -E - использовать расширенные регулярные выражения (egrep является синонимом grep -E), -i - игнорировать регистр букв, -v - выводить строки, не соответствующие образцу, -n - выводить номера строк, -f - читать образец поиска из файла, --color - подсвечивать совпадения.

ДОЛОЙ ИНТЕРАКТИВНОСТЬ!

Ты видел редактор без интерфейса и вообще без интерактивного общения с пользователем? Нет? Ты многое потерял, тебе просто необходимо познакомиться с sed(1). Потоковый редактор sed предназначен для редактирования текста на лету. Он читает входной поток, выполняет необходимые преобразования в соответствии с указанными командами и записывает результат в выходной поток. Sed управляется командами, многим из которых может предшествовать адрес (номер строки или регулярное выражение, заключенное в «/») или диапазон адресов (два номера строки, разделенные запятой), последняя строка адресуется с помощью символа «$». Любая команда может быть задана без указания адреса, в этом случае она будет применена ко всем строкам. Чтобы не запутаться, команды, принимающие адреса, я буду предварять знаком «[x]», а команды, принимающие адреса или диапазоны адресов, знаком «[x,x]». Так что же можно сделать с помощью sed?

1. Его удобно использовать для замены слов в тексте с помощью команды [x,x] s/регулярное_выражение/замена/флаги. Например команда

$ cat file.txt | sed 's/UNIX/Linux/g' > file2.txt

заменит все слова UNIX на Linux и запишет результат в file2.txt. Флаг g нужен, если слово UNIX встречается несколько раз в одной строке.

2. Добавлять произвольную строку в поток командой [x]a\. Команда

linuxcommand. org

www.nevod.ru/ linux/doc/sed

http://gazette.

linux.ru.net/rus/arti cles/index-abs- guide.html

ПОСТАВЬ ВСЕ НА КОНВЕЙЕР!

$ cat file.txt | sed '10a\Здесь был я.'

вставит строку «Здесь был я.» после десятой строки.

3.Заменять произвольные строки командой [x]i\, которая работает подобно команде [x]a\.

4.Удалять строки командой [x,x]d:

$ cat file.txt | sed '10,$d'

$ cat file.txt | sed '/Windows/d'

Первая команда удалит строки с десятой до последней, а вторая - все строки, содержащие слово «Windows».

5.Добавлять содержимое другого файла

âпоток командой [x]r файл.

6.Использовать вместо tr. Для этого есть команда [x]y/источник/цель/ (эквивалент: tr источник цель).

7.Использовать вместо head:

$ cat file.txt | sed 10q

Команда [x]q приводит к немедленному завершению работы sed. Поэтому в приведенном примере напечатается только десять первых строк, а на десятой строке произойдет выход из редактора.

8. Использовать вместо grep:

$ cat file.txt | sed -n '/образец/p'

По дефолту sed печатает все строки из входного потока в выходной, такое поведение можно изменить, используя флаг -n. Теперь печать строк можно задать только командой [x,x]p. В приведенном выше примере будут выведены только строки, совпадающие с образцом, что эквивалентно команде

$ cat file.txt | grep образец

9. Применять приемы программирования. Можно написать небольшой сценарий для sed и сохранить его в файле. Внутри командного файла можно указывать метки и перемещаться между ними. К сожалению, эта тема выходит за рамки данной статьи.

Sed может делать с текстом очень многое, для дальнейшего изучения советую по- читать info-страницу.

НАЙТИ И ОБРАБОТАТЬ

Вот и добрались наши руки до одного из самых мощных и сложных инструментов, предназначенных для редактирования текста, - awk. Это язык поиска и обработки шаблонов, по синтаксису он подобен языку C. В нем присутствует даже всеми любимая функция printf. Awk позиционировался авторами как более мощная замена sed, поэтому программы awk похожи на сценарии sed. Программа состоит из пар шаблон-действие, имеющих вид

шаблон { действие }

где шаблон может быть: отношением (<, >, ==, != и т.д.); регулярным выражением, заключенным в «/»; сопоставлением шаблону (~, !~); комбинацией всего перечисленного. Действие - это оператор или блок операторов, разделенных «;». Каждая входная строка сравнивается с шаблоном из каждой пары шаблон-действие. В каждой паре либо шаб-

awk в действии

Играемся с sed

Помимо встроенных переменных, присутствуют также встроенные шаблоны: BEGIN и END.

ПОСТАВЬ ВСЕ НА КОНВЕЙЕР!

END. Действие шаблона BEGIN выполняется до начала чтения входного потока, а действие шаблона END - после прочтения последней строки потока. Теперь посмотрим, что нам дает использование встроенных переменных и шаблонов, для этого возьмем команду

$ cat /etc/passwd | awk 'BEGIN { FS=":" } /boris/ { print $3, $6 }'

Этот пример аналогичен предыдущему. При введении новых переменных в awk-прог- рамму объявлять их не нужно, они будут создаваться при инициализации. Причем переменная сама примет необходимый тип в зависимости от операций, выполняемых над ней:

$ awk 'BEGIN { a = 13 + 17; print a }'

$ awk 'BEGIN { a = "UN" "IX"; print a }'

По окончании выполнения первой команды на экран будет выведено число 30, а вторая команда выведет слово «UNIX». Конкатенация (слияние) строк выполняется операцией «пробел». Арифметические операции такие же, как в языке C. Массивы могут быть ассоциативными (как хэши в perl), то есть запись вида «circle[color] = red»; воспринимается интерпретатором нормально.

В awk присутствуют все стандартные управляющие операторы, такие как ветвления и циклы. В большинстве своем они повторяют операторы языка C. Вот только не знаю, как часто тебе придется ими пользоваться. При работе с текстом они редко бывают нужны.

Напоследок рассмотрим пример:

$ cat file | awk ' length > 72 {

printf("%s %d %s\n", "Строка", NR, "длинная."); long++;

next;

}

{

printf("%s %d %s\n", "Строка", NR, "короткая."); short++;

}

END {

printf("%s %d\n", "Всего длинных строк:", long); printf("%s %d\n", "Всего коротких строк:", short);

}'

Это маленькая программа подсчитывает количество длинных и коротких строк в файле. Как ты уже, наверное, заметил, она состоит из трех блоков шаблон-действие. В первом блоке выясняется, длиннее ли строка 72- х символов (по умолчанию length вызывается с параметром $0). Если результат положительный, выводится сообщение и увеличивается счетчик (переменная long). Далее следует обратить внимание на оператор next, который принуждает интерпретатор перейти к обработке следующей строки. Таким образом, действие второго блока будет выполнено только в случае невыполнения действия первого блока. Последний блок END будет выполнен в самом конце и выведет общее количество коротких и длинных строк. z

Anton Karpov (toxa@real.xakep.ru)

Ñтандартно конфиги как клиентской, так и серверной частей располагаются в каталоге /etc/ssh. Серверные ключи, секретный и публичный, лежат

там же. Я не буду рассматривать каждую строчку конфигов,КОНФИГУРИРОВАНИЕ

а лишь приведу те минимальные изменения, которые желательно произвести в файле настроек демона /etc/ssh/sshd_config.

Первым делом нужно отказаться от совместимости с протоколом SSHv1. По умолчанию сервер лоялен к старым клиентам, которые не могут соединяться по протоколу SSHv2, и поддерживает обе версии протокола.

#Protocol 2,1

Эта строчка означает, что на этапе соединения сервер предлагает клиентам второй протокол, но если они откажутся, то позволительно использовать первый. В SSHv1 используется более слабый алгоритм генерации сессионного ключа, уязвимый к криптоатакам, и все современные клиенты умеют использовать SSHv2. Поэтому раскомментируем строчку и правим:

Protocol 2

По умолчанию (в некоторых дистрибутивах или если ты собрал OpenSSH из исходников) доступ суперпользователю по ssh разрешен:

#PermitRootLogin yes

Не стоит еще раз напоминать, что под рутом лучше не входить даже локально, а удаленно - тем более. Привыкай пользоваться утилитой sudo. А конфиг исправь:

PermitRootLogin no

Можно также ограничить доступ определенными хостами (host-based auth средствами sshd или используя банальный пакетный фильтр), но это неудобно. Ssh тем и хорош, что можно удаленно получить безопасный доступ с любой машины. Однако ограничить право логина по ssh отдельным пользователям или группам вполне разумно:

AllowUsers toxa

AllowGroups users

Наконец, если доступ планируется предоставить широкой группе пользователей,

то можно приветствовать их специальным приглашением:

Banner /etc/ssh/sshd_banner

# echo "Access RESTRICTED. All you actions will be LOGGED" > /etc/ssh/sshd_banner

Остальные настройки пока можно оставить по умолчанию. После изменения конфига следует перезапустить sshd, предварительно проверив правильность внесенных изменений запуском /usr/sbin/sshd -t (обрати внимание: в данном случае необходимо указывать абсолютный путь к демону sshd). Ведь если ты совершишь ошибку во время правки конфига с удаленного компьютера, то можешь запросто потерять доступ к машине.

ЗОЛОТЫЕ КЛЮЧИКИ

По умолчанию sshd аутентифицирует пользователей по системной базе паролей. То есть ты просто вводишь тот пароль, который используется при локальном доступе с физической консоли. Это самый распространенный метод, однако он не лишен недостатков. Представь, что помимо sshd у тебя в системе крутится pop3-сервер, аутентифи-

цирующий пользователей все по той же базе

ЗАБАВЫ С OPENSSH

ЗАБАВЫ С OPENSSH