Оптимизация сетевой карты под высокую пропускную способность.

Имеется сервер, на который каждую секунду приходит до 200 тысяч пакетов для обработки. В ходе настройки сервера под это дело, столкнулся с тем, что на уровне ядра начали отбрасываться пакеты из за переполнения буфера сетевой карты.

В первую очередь необходимо определить где идут потери, т.к. помимо буфера сетевой карты есть еще несколько неоансов в настройке самого сервера, используемого ПО.

1. . Определение необходимости увеличения размера буфера сетевой карты
   ip -s link show Имя_интерфейса

   1	ip -s link show Имя_интерфейса

   Имя интерфейса можно посмотреть командой — ip list, ifstat или ifconfig. Примерный вывод:

   [root@dracula ~]# ip -s -s link show em1 2: em1: <BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000 link/ether 00:0e:a6:3e:7b:79 brd ff:ff:ff:ff:ff:ff RX: bytes packets errors dropped overrun mcast 3148064261 7289427 0 0 0 643005 RX errors: length crc frame fifo missed 0 0 0 0 342345 TX: bytes packets errors dropped carrier collsns 2308950523 4777592 0 0 0 0 TX errors: aborted fifo window heartbeat 0 0 0 0

   1 2 3 4 5 6 7 8 9 10 11

   [root@dracula ~]# ip -s -s link show em1 2: em1: <BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000     link/ether 00:0e:a6:3e:7b:79 brd ff:ff:ff:ff:ff:ff     RX: bytes  packets  errors  dropped overrun mcast       3148064261 7289427  0       0       0       643005     RX errors: length  crc     frame   fifo    missed                0        0       0       0       342345           TX: bytes  packets  errors  dropped carrier collsns     2308950523 4777592  0       0       0       0           TX errors: aborted fifo    window  heartbeat                0        0       0       0

   Нас интересует параметр missed, где и видим, что пакеты теряются на сетевой карте, что явно показывает необходимость увеличения буферов на сетевой карте.

2. Нам необходимо посмотреть текущие размеры буфера и максимально возможные для сетевой карты. Делается это командой
   ethtool -g Имя_интерфейса

   1	ethtool -g Имя_интерфейса

   Пример вывода:

   [root@dracula ~]# ethtool -g em1 Ring parameters for em1: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 1024 Current hardware settings: RX: 512 RX Mini: 0 RX Jumbo: 0 TX: 128

   1 2 3 4 5 6 7 8 9 10 11 12

   [root@dracula ~]# ethtool -g em1 Ring parameters for em1: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 1024 Current hardware settings: RX: 512 RX Mini: 0 RX Jumbo: 0 TX: 128

   Где видим, что для RX, входящих пакетов — можно увеличить буфер до 4 Мбайт.

3. Меняем параметры сетевой карты
   ethtool -G Имя_интерфейса rx 1024

   1	ethtool -G Имя_интерфейса rx 1024

   Однако, параметры сбросятся после перезагрузки. Для постоянного применения параметра необходимо в файле настроек интерфейса /etc/sysconfig/network-scripts/ifcfg-Имя_интерфейса (Rhel, Centos) добавить следующую строку

   ETHTOOL_OPTS="-G Имя_интерфейса rx 1024" # Или если есть и большой исходящий трафик, то: ETHTOOL_OPTS="-G Имя_интерфейса rx 1024 tx 1024"

   1 2 3

   ETHTOOL_OPTS="-G Имя_интерфейса rx 1024" # Или если есть и большой исходящий трафик, то: ETHTOOL_OPTS="-G Имя_интерфейса rx 1024 tx 1024"

   Хочу обратить внимание на алгоритм обработки параметра ETHTOOL_OPTS. Если в переданных параметрах присутствует знак «-«, то команде ethtool не передается название сетевого интерфейса, т.к. ключи у ethtool, содержащие «-» должны иметь название интерфейса. А другие параметры, такие как режим работы — не требуют.

В итоге, одна из проблем потери пакетов решена.