http://lrn.ru/index.php?module=library&action=show&docid=197&part=1850

не открывается что то ссылка.

Кажется, нашел я 10 мегабайт в день - посмотрел расшифровку netflow - сканируют мой апач нещадно... :-(
Никогда бы не подумал, что так может накапать :-O
<span class='smallblacktext'>[ Редактирование 10.07.2006 - 14:55:25 ]</span>

без вариантов фильтровать?
<span class='smallblacktext'>[ Редактирование 10.07.2006 - 15:40:40 ]</span>

> без вариантов фильтровать?
Если соединение по схеме "мост", трафик пришедший из вне на адрес сети клиента будет учитываться провайдером. Фильтрация на стороне клиента не поможет, так как пакет таки дошел до клиента.

дык и я о том же (что пров уже посчитал). А бывают варианты, что бы пров фильтрацию наладил по заявлению заказчика со своей стороны?
<span class='smallblacktext'>[ Редактирование 12.07.2006 - 13:22:27 ]</span>

Короче, все грустно - про апач - это я, видимо, с бадуна ляпнул...
Вобщем, как я все считал:
Крутиться на фре. Вроде как на линуксе повторить не проблема...
ratcave# ps -awx | grep flow
43499 ?? Ss 0:28.03 /usr/local/bin/flow-capture -p /var/run/flow-capture.pid -n 287 -N 0 -w /var/log/netflows/ -S 5 0/0/8818
43629 ?? Is 0:02.09 softflowd -i vr0 -n 127.0.0.1:8818

Соответственно, vr0 - это интерфейс, кот. подключен к ADSL в режиме моста

соответственно. в /var/log/netflows складываются файлы-бинарники каждые 5 минут
обычно я копирую все интересующее в темповую папку и запускаю flow-cat * | flow-print > file
потом закидываю все это в excel (сорри :) ), сортирую по ipSrc (или как его там...) и суммирую поле октетов .
Вобщем, попросил я уже детализацию по дню, т.к. у меня выставлено по дню больше, чем сумма всего столбика октетов - т.е. все пакеты in-out, включая даже мусор (то, что не выходит с интерфейса - пока у меня там есть немного).

Хто-нить может повторить эксперимент или просто сказать, что я так жестоко не учитываю??? Повторюсь, у меня суточное превышение = примерно 10 мегабайт

<span class='smallblacktext'>[ Редактирование 12.07.2006 - 15:40:37 ]</span>

Пришла подробная статистика.
Вот примерно так:

D_STAMP T_STAMP SIZE SRC_IP DST_IP SRC_PORT DST_PORT PROTOCOL
10.07.2006 0:00:03 1630 212.96.96.38 88.215.xx.xx 53 59548 17
10.07.2006 0:00:15 52 62.146.66.185 88.215.xx.xx 80 54749 6
10.07.2006 0:00:19 52 62.146.66.185 88.215.xx.xx 80 58918 6
10.07.2006 0:00:45 52 62.146.66.185 88.215.xx.xx 80 64618 6
10.07.2006 0:00:50 223812 62.146.66.185 88.215.xx.xx 80 61309 6
10.07.2006 0:01:00 4500 62.146.66.185 88.215.xx.xx 80 54749 6
10.07.2006 0:01:02 514733 62.146.66.185 88.215.xx.xx 80 51764 6

Интересно, считается по завершению передачи? А то поулчается, что за 2 секунды было передано 514733 байт(?) - это вообще реально? У меня стоит тариф на 128 килобит:
10.07.2006 0:01:00 4500 62.146.66.185 88.215.xx.xx 80 54749 6
10.07.2006 0:01:02 514733 62.146.66.185 88.215.xx.xx 80 51764 6

Ну и по сумме траффика от этого узла у меня получилось 12823266
По провайдеру 19331160

Кто-нить еще помнит, как считать байты? А то я, видимо, уже подзабыл...

Точно трафик ты не посчитаешь, никогда. У тебя всегда будет меньше.

[quote=VladTs]Точно трафик ты не посчитаешь, никогда. У тебя всегда будет меньше.[/quote]

Откуда такая фатальность? :)
"не будет никогда" объясняет, конечно, многое, но не все :-)
Меня бы вполне устроило, если бы мне все считалось с погрешностью в 1-2%

А подсчет трафика происходит до или после фильтрации пакетов фаерволом?

У провайдера - не знаю ;-)
У меня - насколько понимаю, после (еще не нашел гуру netflow, чтобы говорить 100%)
Вопрос в том, что так или иначе я проверяю http-траффик, т.е. вроде как бы его правила касаться не должны - по детализации у меня и у прова траффик от обычного http-сервера не должны различаться. Пока у меня подозрения, что это имеет место.
Буду делать пробные закачки - все станет ясно.
<span class='smallblacktext'>[ Редактирование 16.07.2006 - 22:19:39 ]</span>

Взято с с сайта http://www.stavropol.ru
[blockquote]С 26 июня 2006 г. появилась возможность использования протокола РРРоЕ при постоянном доступе к сети Интернет.
Для изменения условий доступа к сети Интернет, обращайтесь в Участок продаж новых услуг, по адресу: г. Ставрополь, ул. Ломоносова, 19, кабинет 8.
Справки по телефонам: 35-33-67, 37-21-91, 37-18-08, 36-13-51, 37-34-00.
Данная возможность будет организована и в других населенных пунктах Ставропольского края. Для уточнения информации обращайтесь на узлы связи по месту жительства.[/blockquote]

[quote=rat]Откуда такая фатальность? :)[/quote]

Дело в том, что при конфигурации мостом шлюз находится на стороне провайдера, он отвечает на все запросы идущие на адреса выделенной сети, те которые адресованы на адрес "прописаный" на твоем компе будут передаваться дальше. Получается что посчитать сможешь только то, что передалось конкретно тебе. Пакеты которые адресованы шлюзу (сети) из твоего подсчета выпадают а из провайдерского нет. Поэтому у тебя всегда будет меньше чем посчитано у провайдера.

РРРоЕ решает проблему лишнего трафика.

Посмотрите, сделал разбор по конкретному ip...
Вопросы остались

Файл приаттачился?

нет

Есть подозрения что в товремя пока сервер где у меня стоит и подключен ADSL идёт трафик между модемом и базовой станцией. Предположив что внктри модема имеется собственное ПО (в прошивке) можно утверждать что станция пингует (обращается) к модему на проверку стабильности связи и подключения к линии. Такой трафик является служебным и оплачивается за счет фирмы. По наблюдениям и анализам статистики можно сказать что ежедневно такого трафика набегает 5-8Мб (определено за выходные дни). Рекомендуется выключать полностью модемы в дни когда линия не используется по назначению.

у меня в выходной день служебного трафика на 200-300 кб

[quote=Grade]Предположив что внктри модема имеется собственное ПО (в прошивке) можно утверждать что станция пингует (обращается) к модему на проверку стабильности связи и подключения к линии. Рекомендуется выключать полностью модемы в дни когда линия не используется по назначению. [/quote]

Модем не создает трафик, когда включен мостом. Станция не пингует модем, потому как у модема просто нечего пинговать, у него нет своего адреса в случае мостового включения. Точнее у некоторых бывает, но эти адреса не попадают в таблицу маршрутов, поскольку являются "левыми". Выключать модем совсем не обязательно в случае включения по схеме моста. В этом случае вы только платите за электроэнергию, потребляемую модемом. Почему идет "лишний" трафик, я уже объяснял совсем недавно здесь в одном из форумов. Поднимите архивы и не мусольте тему.

Вообщем, выложил я файл, красибо и с лубовью оформленный в excel ;-)
http://tau.1gb.ru/index.php?option=com_remository&Itemid=55&func=fileinf...

Сильно не шаманил, в принципе, последовательность пакетов у проффайдера и у меня совпадает
Делал просто - сортировка по src ip всего того, что светиться у меня.
Прошу обратить внимание, что у меня светиться пакет, которого нет у прова...

И кто мне сможет объяснить, чем обусловлена столь большая разница на размере некоторых потоков?! Сам я не силен в философии netflow...

Мои ночные бдения
http://tau.1gb.ru/index.php?option=com_remository&Itemid=55&func=fileinf...
Возникло еще больше вопросов... !bsd :-@

Сегодня посмотрю статистику за день по ошибкам передачи - то, что мне напишет железка
<span class='smallblacktext'>[ Редактирование 18.07.2006 - 10:22:52 ]</span>

[quote=Grade]По наблюдениям и анализам статистики можно сказать что ежедневно такого трафика набегает 5-8Мб (определено за выходные дни). Рекомендуется выключать полностью модемы в дни когда линия не используется по назначению. [/quote]
Что-то много. У меня служебный можно вытащить из статистики по дню. Там как 2-3 строчки на одно время отображается. Раскидывал в том же excel - нет, такого большого быть не может.
Если у Вас потребление в день примерно 30-40 метров в день, то скорее всего вы будете искать то же, что и я (что-то цифры очень похожи).
У меня без нагрузки ничего в таких масштабах не считает.

Кстати, кто-нибудь иможет сказать - в чем заключается суть лицензирования системы учета? Как и что она, собственно, должна считать? Эти положения где-нибудь отражены в общедоступном документе?

Вопрос к счастливым обладателям цисок - могу ли я на софтине получить следующий вид отчета (то, что мне прислал провайдер)
D_STAMP T_STAMP SIZE SRC_IP DST_IP SRC_PORT DST_PORT PROTOCOL
10.07.2006 0:00:03 1630 212.96.96.38 88.215.xxx.xx 53 59548 17
10.07.2006 0:00:15 52 62.146.66.185 88.215.xxx.xx 80 54749 6
10.07.2006 0:00:19 52 62.146.66.185 88.215.xxx.xx 80 58918 6
10.07.2006 0:00:45 52 62.146.66.185 88.215.xxx.xx 80 64618 6

man flow-capture мне дает
-V pdu_version
Use pdu_version format output.

1 NetFlow version 1 (No sequence numbers, AS, or mask)
5 NetFlow version 5
6 NetFlow version 6 (5+ Encapsulation size)
7 NetFlow version 7 (Catalyst switches)
8.1 NetFlow AS Aggregation
8.2 NetFlow Proto Port Aggregation
8.3 NetFlow Source Prefix Aggregation
8.4 NetFlow Destination Prefix Aggregation
8.5 NetFlow Prefix Aggregation
8.6 NetFlow Destination (Catalyst switches)
8.7 NetFlow Source Destination (Catalyst switches)
8.8 NetFlow Full Flow (Catalyst switches)
8.9 NetFlow ToS AS Aggregation
8.10 NetFlow ToS Proto Port Aggregation
8.11 NetFlow ToS Source Prefix Aggregation
8.12 NetFlow ToS Destination Prefix Aggregation
8.13 NetFlow ToS Prefix Aggregation
8.14 NetFlow ToS Prefix Port Aggregation
1005 Flow-Tools tagged version 5

<span class='smallblacktext'>[ Редактирование 19.07.2006 - 11:30:24 ]</span>

Так, а это о чем говорит?
Флудово пингую гейт для ADSL

ratcave# ping -f 88.215.xxx.xx
PING 88.215.136.45 (88.215.xxx.xx): 56 data bytes
..........................................................................................................................................................................................................................................................^C
--- 88.215.xxx.xx ping statistics ---
1356 packets transmitted, 1106 packets received, 18% packet loss
round-trip min/avg/max/stddev = 20.094/21.016/22.628/0.357 ms
ratcave#
<span class='smallblacktext'>[ Редактирование 20.07.2006 - 00:14:39 ]</span>

Посмотрел статистику ошибок на DSL

Choose an interface to view your network status:

DSL

Transmit
Tx PDU's 108544
Tx Total Bytes 48880580
Tx Total Error Counts 0

Receive
Rx PDU's 99177
Rx Total Bytes 75427617
Rx Total Error Counts 248

Вроде, все нормлаьно... Учитывая, что скорее всего эти 248 ошибки на приеме - это последствия флуд пинга (практически совпадает по количеству)

<span class='smallblacktext'>[ Редактирование 20.07.2006 - 00:18:50 ]</span>

[quote=rat]Вопрос к счастливым обладателям цисок - могу ли я на софтине получить следующий вид отчета (то, что мне прислал провайдер)
D_STAMP T_STAMP SIZE SRC_IP DST_IP SRC_PORT DST_PORT PROTOCOL
10.07.2006 0:00:03 1630 212.96.96.38 88.215.xxx.xx 53 59548 17
10.07.2006 0:00:15 52 62.146.66.185 88.215.xxx.xx 80 54749 6
10.07.2006 0:00:19 52 62.146.66.185 88.215.xxx.xx 80 58918 6
10.07.2006 0:00:45 52 62.146.66.185 88.215.xxx.xx 80 64618 6

man flow-capture мне дает
5 NetFlow version 5
8.2 NetFlow Proto Port Aggregation
8.3 NetFlow Source Prefix Aggregation
8.4 NetFlow Destination Prefix Aggregation
[/quote]

Плохо ты ман смотрел. Flow-capture можно оставить вообще как есть, собирая все. А вот через flow-export, flow-print можно регулировать формат выходного отчета. Но вдобавок ко всему еще что хочу сказать.. С чего ты взял, что провайдер считает через флоу тулз? Есть еще сертифицированный CISCO nеtflow коллектор. Есть еще формат флоу разных версий, например 1,2,3,5,7,9 (5 наиболее распространенная, 9 - самая правильная).

Но что хочу сказать.. netflow не гарант точности подсчета.. Лишнего он конечно не насчитает, а вот потери у него возможны, поскольку пакеты от флоу источника еще должны дойти до флоу-коллектора. В протоколе предусмотрена даже такая опция как MISSED, это количество потерянных записей при передаче. Поэтому если ты ищешь правды, то не найдешь. Флоу твой и провайдера почти всегда будут отличаться. Смотрел я твои xls файлы, и то, что там нарисован трафик апача, который якобы не совпадает с твоим сборщиком, это твой трафик. Тебе не правды надо искать, а починить своего долбанутого касперского антивиря, который каждые 10 сек. качает обновления с адреса 193.138.220.187 размером по 50 кило..

[ Редактирование 20.07.2006 - 23:05:32 ]

[quote=edge]
Плохо ты ман смотрел. Flow-capture можно оставить вообще как есть, собирая все. А вот через flow-export, flow-print можно регулировать формат выходного отчета.
[/quote]

Я однозначно плохо смотрел ман, но и Вы не ответили на мой вопрос
У меня, собственно, вопрос заключался в том, могу ли я получить ТАКУЮ ЖЕ форму отчета, о чем, собственно, и написал ;-)
Просто у меня есть некоторые сомнения по поводу возможности точно выдать время до секунд (я не знаю, пишутся ли эти сведения в файл).

[quote=edge]
Но вдобавок ко всему еще что хочу сказать.. С чего ты взял, что провайдер считает через флоу тулз? Есть еще сертифицированный CISCO nеtflow коллектор. Есть еще формат флоу разных версий, например 1,2,3,5,7,9 (5 наиболее распространенная, 9 - самая правильная).
[/quote]

Собственно, меня только косвенно интересует, чем считает пров. Меня инетересует, КАК мне получить совпадающую статистику (я даже готов считать свою статистику заведомо неверной, только покажите мне в чем я НАСТОЛЬКО неправ!)

[quote=edge]
Но что хочу сказать.. netflow не гарант точности подсчета.. Лишнего он конечно не насчитает, а вот потери у него возможны, поскольку пакеты от флоу источника еще должны дойти до флоу-коллектора. В протоколе предусмотрена даже такая опция как MISSED, это количество потерянных записей при передаче. Поэтому если ты ищешь правды, то не найдешь. Флоу твой и провайдера почти всегда будут отличаться. Смотрел я твои xls файлы, и то, что там нарисован трафик апача, который якобы не совпадает с твоим сборщиком, это твой трафик.
[/quote]
По поводу возможности потерь - маловероятно, т.к. снималось на незагруженной машине и приемник и передатчик находится на ней же.
Пожалуйста, вкратце обрисуйте те ситуации, когда netflow по-любому у меня и у прова отличается...

[quote=edge]
Тебе не правды надо искать, а починить своего долбанутого касперского антивиря, который каждые 10 сек. качает обновления с адреса 193.138.220.187 размером по 50 кило..
[/quote]
Конечно, как же не пнуть лишний раз бедного Касперского? B-)
Вот только я чего-то не понял, какое это имеет отношение к теме. Или траффик обновления магическим образом отличается от "обычного"? %-6
Вообще-то это не лично мой касперский... На всякий случай.

[quote=rat]
Я однозначно плохо смотрел ман, но и Вы не ответили на мой вопрос
У меня, собственно, вопрос заключался в том, могу ли я получить ТАКУЮ ЖЕ форму отчета, о чем, собственно, и написал ;-)
Просто у меня есть некоторые сомнения по поводу возможности точно выдать время до секунд (я не знаю, пишутся ли эти сведения в файл).
[/quote]

Ну что ж, повторю сказанное еще раз:
Через flow-export, flow-print можно регулировать формат выходного отчета. Время во флоу пишется. starttime endtime и activetime

[quote=rat]
Собственно, меня только косвенно интересует, чем считает пров. Меня инетересует, КАК мне получить совпадающую статистику (я даже готов считать свою статистику заведомо неверной, только покажите мне в чем я НАСТОЛЬКО неправ!)
[/quote]

А как можно показать, до конца не видя воочию, как ты считаешь, на каком этапе? У тебя размер пакетов по всем показателям почему-то отличается процентов на 10. Либо твоя софтина не учитывает какие-то этапы установки соединения, либо что-то еще не учитывает. Что, я не знаю. Попробуй поставить что-то вместо softflowd

[quote=rat]
Пожалуйста, вкратце обрисуйте те ситуации, когда netflow по-любому у меня и у прова отличается...
[/quote]

Используешь библиотеку pcap. При большой нагрузке на интерфейс возможны потери в учете пакетов.
Ну в промежутке между твоим сборщиком и интерфейсом что-то стоит.
Кривой softflowd - что-то не учитывает при формировании флоу.
Провайдер считает все пакеты, пришедшие на твой адрес, даже когда интерфейс не активен. У тебя этих пакетов во флоу естественно не будет.
Потери флоу у провайдера. Ну это тебе только в плюс.
Ну больше вроде и нечему.

[ Редактирование 21.07.2006 - 21:35:12 ]

[quote=rat]
Меня инетересует, КАК мне получить совпадающую статистику
[/quote]

Никак.

[quote=rat]
Конечно, как же не пнуть лишний раз бедного Касперского? B-)
[/quote]

Он совсем не бедный. И программы его -- такие у.бища, что лучше и не упоминайте. Правда, к теме это не относится.

Вобщем, я достаточно плотно пообщался со Ставрополем.
Происходило это примерно так:
Сначала у меня собиралась статистика по netflow через softflowd + flow-capture
Я показал результаты, меня настоятельно попросили переделать через фряшный ядерный ng_netflow
C ним я провозился дольше, результаты получились примерно такие же.
Я позвонил в Ставрополь Андрею, спросил, что же мне делать дальше.
Мне было предложено поставить что-нить сертифицированное, правда не сказали, где мне это взять. ;-)
Но зато, как многие также обещали, мне еще раз напомнили, что фря, в отличие от их системы, лицензией обладать не могет.

И вроде как несхождение в 4-5 мегабайт на 30 полезного траффика - разве что не норма...
Вобщем, как и обещали многие, это таки становится проблемой индейцев...

Сошлись на том, что я напишу заявление на свой узел связи с просьбой выяснить причину несхождения.
Предложение само по себе логично, проблема только в том, что там сидят все-таки инженеры, до сего момента слова netflow, как мне показалось, не находили должного отклика в глазах... (мне ХОЧЕТСЯ ошибаться)

Учитывая, что мне пришлось потратить пару недель на то, чтобы доказать, что я умею подключать сплиттер к линии (модем падал), а перед этим еще и перетянуть кусок провода до щитка (там три скрутки вроде было)... Плохие у меня предчувствия, вобщем. Но бодрости духа терять нельзя...

з.ы. А в Пятигорске на той линии shdsl, кот. у меня есть возможность наблюдать, все вроде нормально - для прикола надо будет там прикрутить netflow - сейчас, грубо говоря, только про фаеру ориентируюсь.

C радостью хочу сообщить Вам, что проблема неожиданно рассосалась, как будто и не было.
Если бы не человек из Лермонтова, кот. сам мне написал (цитата)
[b]"меня не обманули в этом месеце не на копейку !!!"[/b]
так бы и думал, что это все бред моей больной головы...

Мысль в слух: "а была ли найдена прична???"
<span class='smallblacktext'>[ Редактирование 06.09.2006 - 17:18:30 ]</span>

чуть офтопа - в свое время тоже с провайдером беседовал на тему - почему у меня меньше траф выходит - тоже ласково объяснили, что считается ВСЕ... у меня где-то процента 3 было сверху от него... тоже по АДСЛ...