Проблема высокого iowait обычно связана с производительностью I/O, которая включает производительность диска и производительность nfs. Сегодня мы рассмотрим, как проверить производительность диска и производительность nfs.
Проверка производительности дискового ввода-вывода в Linux
В системе Linux мы можем использовать команду iostat для получения данных о производительности дисков. Если проблема возникла в прошлом, мы можем использовать команду sar для получения исторических данных, чтобы проанализировать, что происходило в то время.
Мы также можем использовать инструменты мониторинга, такие как telegraf, для сбора таких показателей, как дисковые IOPS, дисковые ио-байты и дисковое время.
Далее мы можем использовать iotop, чтобы проверить, какой процесс генерирует рабочую нагрузку на наши диски. Более подробная информация о iotop здесь.
10 команд iostat в Linux
Сообщают статистику ЦП и ввода-вывода, перечисленную ниже. Наиболее часто используемая опция -xk + интервал.
Например:
| 1 | iostat -xk 3 /dev/sda |
Здесь 3 означает печать данных о производительности диска sda каждые 3 секунды, пока мы не нажмем ctr+c.
iostat: Получить отчет и статистику.
iostat -x: Показать более подробную статистическую информацию.
iostat -c: Показать только статистику по процессору.
iostat -d: Показать только отчет об устройстве.
iostat -xd: Показать расширенную статистику ввода-вывода только для устройства.
iostat -k: Снимать статистику в килобайтах или мегабайтах.
iostat -k 2 3: Показать статистику по процессору и устройству с задержкой.
iostat -j ID mmcbkl0 sda6 -x -m 2 2: Отображение статистики по постоянному имени устройства.
iostat -p: Отображение статистики для блочных устройств.
Вот инструменты, которые мы можем использовать для проверки производительности дисков в Linux.
- iostat: Команда iostat предоставляет подробную информацию о статистике дискового ввода-вывода, включая скорость чтения/записи, среднее время отклика и утилизацию. Вы можете запустить iostat -dx для отображения статистики дискового ввода-вывода для всех устройств. На выходе вы увидите такие показатели, как количество операций чтения и записи в секунду, средний размер операций чтения и записи, а также среднее время отклика.
- sar: Команда sar - еще один мощный инструмент для мониторинга производительности системы, включая дисковый ввод-вывод. Выполнение команды sar -d отобразит статистику дискового ввода-вывода, включая среднюю скорость ввода-вывода, скорость передачи данных и время обслуживания. Вы также можете указать интервал выборки, например, sar -d 1 10 для сбора данных каждые 1 секунду в течение 10 итераций.
- iotop: Команда iotop обеспечивает мониторинг дисковых операций ввода-вывода в режиме реального времени. Она показывает, какие процессы генерируют наибольшее количество дисковых операций ввода-вывода, и предоставляет такую информацию, как скорость чтения/записи и процент использования ввода-вывода каждым процессом. Запустите iotop с правами root, чтобы увидеть все процессы, или используйте опцию -u <имя пользователя>, чтобы отфильтровать результаты по определенному пользователю.
- blktrace: Инструмент blktrace позволяет отслеживать и анализировать события ввода-вывода на уровне блоков. Он предоставляет подробную информацию о дисковых операциях ввода-вывода, включая размер, продолжительность и задержку ввода-вывода. Вы можете использовать blktrace для захвата и анализа шаблонов ввода-вывода, чтобы определить узкие места в производительности.
- Инструменты, специфичные для файловой системы: Различные файловые системы могут предоставлять свои собственные инструменты для мониторинга производительности дискового ввода-вывода. Например, для файловой системы ext4 можно использовать ext4magic или debugfs для сбора информации о дисковых операциях ввода-вывода, специфичных для ext4.
- Инструменты мониторинга: Средства мониторинга системы, такие как top, htop или графические инструменты, также предоставляют статистику дискового ввода-вывода. Они отображают общие показатели производительности системы, включая ЦП, память и дисковый ввод-вывод, в удобном для пользователя интерфейсе.
Эти инструменты дают представление о производительности дискового ввода-вывода и помогают выявить узкие места, такие как высокое время ожидания ввода-вывода или насыщение диска. Анализ этих показателей может помочь в оптимизации производительности дискового ввода-вывода, настройке системных конфигураций или выявлении проблемных процессов.
Проверка проблем с производительностью NFS IO в Linux
Чтобы проверить проблемы с производительностью NFS IO в Linux, вы можете выполнить следующие шаги:
Проверьте сетевое подключение: Убедитесь, что сетевое соединение между клиентом и сервером стабильно и без каких-либо проблем. Вы можете использовать такие инструменты, как ping или traceroute, чтобы проверить сетевое подключение и определить любые задержки или потери пакетов.
Проверьте нагрузку на сервер NFS: Следите за нагрузкой на сервер, использованием процессора, памяти и дискового ввода-вывода. Высокая загрузка ресурсов сервера может повлиять на производительность NFS. Используйте такие команды, как top или htop, чтобы проверить загрузку ресурсов сервера.
Проверьте журналы сервера NFS: Просмотрите журналы сервера NFS на предмет сообщений об ошибках или предупреждений, связанных с операциями NFS. Журналы могут дать представление о любых проблемах с производительностью или ошибках, возникающих на сервере. Расположение файла журнала зависит от дистрибутива Linux и реализации NFS.
Измерьте пропускную способность сети: Используйте такие инструменты, как iperf или nload для измерения пропускной способности сети между клиентом и сервером. Это поможет выявить узкие места в сети или ограничения, влияющие на производительность NFS.
Проверьте параметры монтирования NFS: Просмотрите опции монтирования NFS на стороне клиента. Убедитесь, что опции установлены должным образом для обеспечения производительности. Общие опции включают rw (доступ на чтение и запись), hard (неограниченное количество повторных попыток при ошибках ввода-вывода), tcp (использование протокола TCP для связи NFS) и noac (отключение кэширования атрибутов).
Тестирование производительности NFS: Запустите эталонные тесты для измерения производительности NFS. Такие инструменты, как nfsstat, dd или iozone могут быть использованы для оценки производительности чтения и записи общих ресурсов NFS. Запустив эти тесты, вы сможете определить узкие места в производительности и сравнить результаты с ожидаемыми уровнями производительности.
Настройка параметров NFS: Настройте параметры, связанные с NFS, для оптимизации производительности. Такие параметры, как rsize и wsize (размеры NFS для чтения и записи), async (асинхронная запись) или actimeo (таймаут кэша атрибутов) могут быть настроены для повышения производительности. Однако необходимо тщательно тестировать и отслеживать влияние изменений параметров.
Рассмотрите возможность модернизации сети и системы хранения данных: Если вы постоянно сталкиваетесь с низкой производительностью NFS и определили, что узким местом является сеть или инфраструктура хранения, рассмотрите возможность модернизации сетевых коммутаторов, маршрутизаторов или устройств хранения для повышения производительности.
Низкая производительность nfs также может быть причиной высокого уровня iowait. Nfsiostat - это широко используемая команда для проверки производительности NFS. Эта команда может рассказать нам о таких рабочих нагрузках, как IOPS, сетевая задержка, задержка ядра и т.д.
Высокая I/O-нагрузка на определенные ядра ЦП
I/O-нагрузка на ядра процессора распределена неравномерно. Это ожидаемое поведение ядра Linux.
Когда процессор сталкивается с задачей, требующей операции ввода/вывода, он посылает запрос контроллеру ввода/вывода. Ответственность контроллера ввода-вывода заключается в выполнении этого запроса.
В это время задача переходит в состояние 'D', указывающее на то, что она ожидает завершения операции ввода-вывода. Процессор остается в состоянии простоя, известном как IO_WAIT, до тех пор, пока контроллер ввода-вывода не закончит обслуживание запроса.
Если система имеет несколько процессоров, то процессор, обслуживающий конкретную задачу, будет ожидать ввода-вывода и будет простаивать в течение этого времени, остальные процессоры будут заняты другими задачами, поэтому появление IOWAIT для конкретного процессора является ожидаемым поведением ядра Linux.