DarkStat - Monitor de Rede [INACTIVE]

[M客¡NhØ §åMµ®å¡]

• DarkStat - Monitor de Rede

Author: M客¡NhØ §åMµ®å¡
URL: http://www.brazilfw.com.br/users/MarcinhoSamurai/addons/2.3x/darkstat.tgz
Add-on State: Beta
Add-on Version: 1.0
Original Project Version: 3.0.712
Original Project URL: http://dmr.ath.cx/net/darkstat/
System Version Required: 2.31.10 / 2.32
Other Packages Required: None
Other Packages Conflict: Não conhecidos.

Descrição:
O DarkStat é um utilitário para monitoramento de rede baseado na biblioteca pcap.
Seu funcionamento é similar ao do NTop e VNStat. Contudo seu binário é bem pequeno, o que significa que requer pouca memória para rodar (dependendo de como o monitoramento é configurado).
O DarkStat possibilita monitoramento de rede gerando gráficos e tabelas (relatórios) com informações sobre utilização de banda (I/O).
No DarkStat para BrazilFW podemos criar diversos monitoramentos que serão executados simultâneamente.
Os monitoramentos do DarkStat podem ser configurados para funcionar sem "reset", ou seja, ao reiniciarmos o servidor, o monitoramento (gráficos e relatórios) continuam de onde pararam.

Instrucões de Instalação:
Instalação padrão.

Instruções para utilização:
Uma vez instalado, um novo item irá aparecer no menu principal do WebAdmin.
Ao clicar nesse novo item (DarkStat) será exibida a tela do DarkStat para BrazilFW.
Nessa tela podemos recarregar monitoramentos ativos e gerenciar monitoramentos configurados.
Para maiores informações, por favor, baixar/acessar o tutorial do DarkStat pra BrazilFW aqui http://www.brazilfw.com.br/users/MarcinhoSamurai/tutoriais/DarkStat.pdf

Toda a administração é feita através do WebAdmin.


Histórico
29/Janeiro/2010 - Pacote criado
08/Abril/2010 - BugFix/Update viewtopic.php?f=15&t=72627#p212677

Observações:
Esse addon está em fase de testes. Contudo, sua utilização não implica em quaisquer alteração nos arquivos do sistema, não representando risco eminente ao funcionamento do mesmo.
Qualquer dúvida, problema ou sugestão deve ser postada aqui neste tópico!
Sugestões são sempre bem-vindas, mas isso não significa que todas serão atendidas.

[Thiago]

Grande Mestre M客¡NhØ §åMµ®å¡, muito obrigado por mais esse addon. O BFW agradece
E por mais esta dedicaçao ao projeto, ficou showw, parabens.
Muito da hora....
Flw
Abrasssss

[luapufo]

muito bom mesmo, copilei ele para 3.0 so para testar e funcionou 100%
fica um pedido, copila ele para 3.0 e lança la no forum da 3.0 os usuario agradecem e eu tambem


Parabens pelo addons

[M客¡NhØ §åMµ®å¡]

Bom dia, pessoal!

Grande Mestre M客¡NhØ §åMµ®å¡, muito obrigado por mais esse addon. O BFW agradece
E por mais esta dedicaçao ao projeto, ficou showw, parabens.
Muito da hora....
Flw
Abrasssss

Thiago, obrigado pelos parabéns!
É nosso!

muito bom mesmo, copilei ele para 3.0 so para testar e funcionou 100%
fica um pedido, copila ele para 3.0 e lança la no forum da 3.0 os usuario agradecem e eu tambem


Parabens pelo addons

Grande luapufo, obrigado pelos parabéns!
Está em meus planos compila-lo também para o BFW 3.0...
O que ocorre é que estou, atualmente, trabalhando em melhorias e implementando algumas idéias no SquidCacheAux, além de estar trabalhando no desenvolvimento de mais 2 addons.
Quero primeiro terminar esses outros addons, para começar a compilar versões do SqStat, SquidNow, DarkStat e um desses outros em que estou trabalhando, todos para o BFW 3.0.
Desses dois addons em que estou trabalhando, um não terá uma versão para o BFW 3.0, pois, será utilizado em conjunto com o SquidCacheAux, que também não terá uma versão para o BFW 3.0...
Digo isso, pois, o BFWCache está à caminho e sairá primeiro para o BFW 3.0, então não há necessidade de termos o SquidCacheAux lá (minha opinião).
Com todo esse texto aqui quero dizer que irei compilar 4 addons pro BFW 3.0: O SqStat, o SquidNow, o DarkStat e um que ainda está no forno (nem sei se conseguirei terminar este... Por enquanto é surpresa ).

Bom, pessoal, por enquanto é isso...
Quem quiser utilizar o DarkStat, baixe e leia o Tutorial, testem, resportem dúvidas, problemas, críticas (construtivas, por favor) e sugestões aqui, neste tópico.

Abraço à todos!

[SamuelSG]

Valeu por mais um otimo addons, ja vou testa - lo aqui...

[Eduardo]

Marcinho, addon muito bom, ele deve aposentar o Bandwidthd e o BMT.
Ele é muito completo, em hosts vem um detalhamento de uso de banda por IP e por portas, sensacional.

Bom, vamos agora para as minhas observações:

01 - Quem for instalar lembrar de quando criar a regra usar uma porta de visualização exclusiva, ou seja, cada monitoramento tem que ter sua porta especifica e unica.
As minhas regras começam na porta 667 e vao ate 670.

02 - Marcinho, tenho 02 regras criadas, uma para interface eth0 (Internet) e outra para eth1 (Rede) , ambas sem filtro algum. O problema é que os graficos delas são diferentes, a eth1 parece que ta apresentando o grafico certo, ja a eth0 mostra o uso 8 vezes menos.
Olha como fica o report deles:

Graphs (eth0)

Running for 1 day, 1 hr, 29 mins, 45 secs, since 2010-01-31 16:20:22 UTC+0000.
Total 4,689,204,298 bytes, in 9,788,963 packets. (0 captured, 0 dropped)

in min: 0.1 KB/s, avg: 1.4 KB/s, max: 2.8 KB/s
out min: 5.2 KB/s, avg: 10.9 KB/s, max: 17.7 KB/s
last 60 seconds

Graphs (eth1)

Running for 1 day, 1 hr, 29 mins, 36 secs, since 2010-01-31 16:20:28 UTC+0000.
Total 4,661,874,773 bytes, in 9,847,449 packets. (0 captured, 0 dropped)

in min: 47.5 KB/s, avg: 82.9 KB/s, max: 140.8 KB/s
out min: 4.4 KB/s, avg: 18.6 KB/s, max: 40.4 KB/s
last 60 seconds

Não tinham que ser identicas as velocidades?

03 - Não consegui usar o filtro simples para criar uma regra de monitoramento para um IP especifico.
da o seguinte erro:

Iniciando monitoramento eth1_3.mon...
error: illegal argument: "ip"

A config ta assim:

DarkStat para BrazilFW
Ativar esse monitoramento: Sim
Interface: eth1 - minha da rede
promiscuous mode: Não
Resolver nomes: Sim
Exibir MAC Address: Sim
Porta para visualização: 669
Habilitar acesso remoto: Não
Monitoramento Contínuo: Sim
Filtro: Simples
Filtrar por: Destino ou Origem ou Ambos, testei os 03.
Para: IP
Valor para Filtragem: 192.168.15.210

Parece que tenho que por algum algumento no valor, mas nao entendi como.

04 - Tem como iniciar os graficos com a opção Automatic Reload On?

Por enquanto é isso, parabens pelo excelente addon, muito obrigado.....

[M客¡NhØ §åMµ®å¡]

Boa tarde, pessoal!

Marcinho, addon muito bom, ele deve aposentar o Bandwidthd e o BMT.
Ele é muito completo, em hosts vem um detalhamento de uso de banda por IP e por portas, sensacional.

Gostei muito do utilitário também, mas aposentar os outros é um pouco demais...
Eles já estão estáveis e o DarkStat ainda em fase de teste.

01 - Quem for instalar lembrar de quando criar a regra usar uma porta de visualização exclusiva, ou seja, cada monitoramento tem que ter sua porta especifica e unica.
As minhas regras começam na porta 667 e vao ate 670.

Perfeito!

02 - Marcinho, tenho 02 regras criadas, uma para interface eth0 (Internet) e outra para eth1 (Rede) , ambas sem filtro algum. O problema é que os graficos delas são diferentes, a eth1 parece que ta apresentando o grafico certo, ja a eth0 mostra o uso 8 vezes menos.
Olha como fica o report deles:

Graphs (eth0)

Running for 1 day, 1 hr, 29 mins, 45 secs, since 2010-01-31 16:20:22 UTC+0000.
Total 4,689,204,298 bytes, in 9,788,963 packets. (0 captured, 0 dropped)

in min: 0.1 KB/s, avg: 1.4 KB/s, max: 2.8 KB/s
out min: 5.2 KB/s, avg: 10.9 KB/s, max: 17.7 KB/s
last 60 seconds


Graphs (eth1)

Running for 1 day, 1 hr, 29 mins, 36 secs, since 2010-01-31 16:20:28 UTC+0000.
Total 4,661,874,773 bytes, in 9,847,449 packets. (0 captured, 0 dropped)

in min: 47.5 KB/s, avg: 82.9 KB/s, max: 140.8 KB/s
out min: 4.4 KB/s, avg: 18.6 KB/s, max: 40.4 KB/s
last 60 seconds


Não tinham que ser identicas as velocidades?

Não. Pois você pode estar até sem conexão com a internet e ainda assim irão circular pacotes na interface da rede interna (serviços como DHCP, DNS e etc... Fora os "ping" dados ao servidor, pacotes arp, etc...).
Resumindo: É muito provável que todos nós tenhamos um tráfego muito maior na interface da rede interna do que na interface da rede externa.

03 - Não consegui usar o filtro simples para criar uma regra de monitoramento para um IP especifico.
da o seguinte erro:

Iniciando monitoramento eth1_3.mon...
error: illegal argument: "ip"


A config ta assim:

DarkStat para BrazilFW
Ativar esse monitoramento: Sim
Interface: eth1 - minha da rede
promiscuous mode: Não
Resolver nomes: Sim
Exibir MAC Address: Sim
Porta para visualização: 669
Habilitar acesso remoto: Não
Monitoramento Contínuo: Sim
Filtro: Simples
Filtrar por: Destino ou Origem ou Ambos, testei os 03.
Para: IP
Valor para Filtragem: 192.168.15.210


Parece que tenho que por algum algumento no valor, mas nao entendi como.

Essa parte do filtro simples, na verdade, não iria nem existir... Acrescentei para facilitar a vida de usuários com pouca ou nenhuma experiência com filtros do TCPDUMP.
Muito obrigado por esse retorno, iriei realizar alguns testes e talvez até remover essa opção do Filtro Simples.
A questão aqui é, o tcpdump permite esse "parâmetro" em seus filtros. Pelo jeito o DarkStat não.
Aproveito para lembra que não fui eu quem desenvolveu o DarkStat. Ele já existia.
Eu somente o compilei para o BFW e criei uma interface de forma que podessemos utilizar esse belíssimo utilitário de uma forma, digamos, "mais amigável" (imaginem ter que criar todos os monitoramentos um a um, digitando todos os parâmetros para o binário no console/terminal... Achei do jeito que fiz bem mais simples ).

04 - Tem como iniciar os graficos com a opção Automatic Reload On?

Não é impossível, porém, não está na lista de prioridades (teria que alterar o código fonte do binário e prefiro esperar mais um pouco para ver se não aparece alguma coisa grave para, aí sim, "mexer no binário").
Agora, no início dos testes, minha prioridade é encontrar e eliminar bug's para que o addon fique o mais próximo possível da perfeição, para que possamos utilizá-lo sem preocupações.

Mais uma vez, obrigado dudumo!

Abraço pessoal!

[Michelle]

Tem como ver o grafico em tempo real de cada subrede?

tipo desse http://oss.oetiker.ch/mrtg/ mas que parece o rrd aqui do bfw, porem ja tentei usar e tem muito bug.

[M客¡NhØ §åMµ®å¡]

Tem como ver o grafico em tempo real de cada subrede?

Michelle, ter tem, porém, em alguns testes que andei fazendo, estava tendo problemas com os filtros (que seria forma de fazer o que pretendes)... Estou revisando o código dos scripts para fazer novos testes e dar um retorno aqui no tópico...
Infelizmente, por enquanto, terás que aguardar mais um pouco.
Assim que possível darei um retorno quanto aos filtros e etc...
No mais, basta ir à url do projeto original e dar uma olhada na documentação, pois, aplicando os filtros, é possível fazer "bastante coisa legal".

Abraço menina!

[M客¡NhØ §åMµ®å¡]

Boa tarde pessoal!
Acabei de fazer o upload do addon/pacote atualizado...
O Addon sofreu as seguintes alterações/correções:

• Solucionado problema de criação/carregamento de filtros no monitoramento (Obrigado pelo relato, dudumo!);
• Revisados scripts de inicialização e desligamento do addon;
• Acrescentado campo NOME no cadastro de monitoramentos;
• Acrescentados idiomas Inglês e Espanhol;

Teste iniciais obtiveram resultados positivos no BFW 2.31.10 e 2.32.

Qualquer problema, por favor, reportem aqui, neste tópico.

[Eduardo]

Caro Marcinho, torço muito para esse addon funcionar, as possibilidades de diagnostico dele são incriveis.

Porem ele esta travando o BFW quando tem uma lista grande de usuarios.
Aqui no meu sistema de teste tenho apenas 6 pcs ligados e ele funciona bem.
Ja em outro ambiente com mais de 100 usuarios com reservas de IP ele para quase que imediatamente quando o promiscuous mode fica configurado como não.
Quando o promiscuous mode fica em sim, ele não causa problemas por aproximadamente 02 horas, depois trava o adaptador que estiver ativo.
Caso seja o adaptador da Internet, o a velocidade de acesso despenca e fica impossivel navegar.
Caso seja o adaptador da rede nem consigo abrir o Webadmin.
Quando isso ocorre eu acesso pelo SSH e rebooto o sistema, que volta, mas pelo tempo acima descrito.

Alem disso ele continua com informações de velocidade diferentes nas Eth0 e Eth1.
Nos totais elas deveriam ser identicas, invertando apenas In/Out, porem a Eth0 sempre posta uma velocidade abaixo da real, apessar de postar quantidade de de bytes correta e igual a da Eth1.

Porem o problema de travamento do BFW é o mais grave e inviabiliza ele.

Em tempo, uso os seguntes Addons:
DNS-Cache
Bandwidthd
Conexões Usuarios
Dynamic IP Update
Limite Conexiones
Tiny MySAR
Tiny MySQL
Tiny PHP
Remote Backup
Simon 2.0
SqStat
Squid
Watchdog por IP
DHCP ativo e usando reserva de IP com bloqueio de IPs não identificados por range.
10.0.0.1/24 - Bloqueado
10.0.xxx.xx/16 - Liberado

Estou a disposição para testar qualquer alteração ou alternativa que voce postar no BFW com mais de 100 clientes.

Muito obrigado.
Eduardo

[M客¡NhØ §åMµ®å¡]

Eduardo, boa noite!
Primeiramente, quero agradecer-lhe pelo relato (muito completo, meu amigo)... Muito obrigado mesmo!
Bom, essa questão do travamento eu realmente não tenho como testar (não tenho uma estrutura deste porte para realizar testes).
Acho que seria interessante testar numa estrutura deste porte sem ter o Bandwidhtd e o Simon instalados (principalmente o Bandwidhtd), pois o consumo de recursos do sistema vai nas alturas (creio que seja esse o problema).
Bom, de qualquer forma já lhe adianto que farei uma atualização essa semana ainda no addon, pois o binário do DarkStat (no projeto original) foi atualizado, então vou disponibilizar o mais atual para nossa comunidade (claro!).

Bom, por enquanto, sugiro que aguarde mais uns dias para instalar o addon já com o binário mais atual ou que verifique a possibilidade de realizar os testes em um ambiente sem o Bandwidhtd (pelo menos) para verificarmos se continua ocorrendo o travamento.

Mais uma vez, muito obrigado meu amigo!

Abraço!

[WTC2009]

marcin uma pergunta que eu instalar o addons para testar e me diz que não precisa vincular vincular não está funcionando quando recarga fijate este eroor

darkstat Parando ...
Confirmando correndo e parando ...
cat: / etc / darkstat / Monitoramento / Rede_Interna: Nenhum tal lima ou diretório
Interromper o processo (PID) ... BusyBox v1.2.1 (2008.04.29-16:34 0000) multi-chamada binário

Uso: matar sinal [processo], [id processo id ...]

Erro!
Interromper o processo (PID 19703) ... Ok
Começando darkstat ...
lista Carregando ... Ok configurado monitores
Ok (PID = 20357)
Pronto!


Fortaleça-me se eu precisar usar rev vincular arg qos 4 sem vincular, sem gateway, nenhum manequim quer apenas usar o qos BrazilFW lulas e arg rev 4

Agradecemos antecipadamente irmão

[WTC2009]

e outra coisa que notei é que cada vez que você adicionar uma porta pela Interfax eth 1 erro me joga para continuar dando-lhe da mesma forma com 0 eth deixe-me ver se eu posso fazer algumas screenshots e digo para ver o que sugestões você me dá outro coisa que eu não posso ver cada ip não é se é para o curto período de tempo de uso ou se ele falhou em minha configuração e testado e que você deve ir esta rota saudações anúncio

[Eduardo]

Caro Marcinho, vou aguardar a atualização e apos instala-lo, vou ficar de olho na diferença de performance com e sem o Bandwidhtd, e claro, reporto aqui os resultados.
O Simon eu ja removi do sistema, ela é chato pra configurar e o iftop faz o mesmo com mais eficiencia.
Acho que tem algum bug no DarkStat novo, visto que o antigo eu usei por um bom tempo e nunca deu esse tipo de problema.
Talvez a correção recem implementada seja para resolver esse problema.

Agradeço a atenção.
Eduardo

[M客¡NhØ §åMµ®å¡]

marcin uma pergunta que eu instalar o addons para testar e me diz que não precisa vincular vincular não está funcionando quando recarga fijate este eroor

darkstat Parando ...
Confirmando correndo e parando ...
cat: / etc / darkstat / Monitoramento / Rede_Interna: Nenhum tal lima ou diretório
Interromper o processo (PID) ... BusyBox v1.2.1 (2008.04.29-16:34 0000) multi-chamada binário

Uso: matar sinal [processo], [id processo id ...]

Erro!
Interromper o processo (PID 19703) ... Ok
Começando darkstat ...
lista Carregando ... Ok configurado monitores
Ok (PID = 20357)
Pronto!


Fortaleça-me se eu precisar usar rev vincular arg qos 4 sem vincular, sem gateway, nenhum manequim quer apenas usar o qos BrazilFW lulas e arg rev 4

Agradecemos antecipadamente irmão

e outra coisa que notei é que cada vez que você adicionar uma porta pela Interfax eth 1 erro me joga para continuar dando-lhe da mesma forma com 0 eth deixe-me ver se eu posso fazer algumas screenshots e digo para ver o que sugestões você me dá outro coisa que eu não posso ver cada ip não é se é para o curto período de tempo de uso ou se ele falhou em minha configuração e testado e que você deve ir esta rota saudações anúncio

WTC2009, pode postar em espanhol... Fica mais fácil entender em espanhol, pois esse português está meio confuso...

Caro Marcinho, vou aguardar a atualização e apos instala-lo, vou ficar de olho na diferença de performance com e sem o Bandwidhtd, e claro, reporto aqui os resultados.
O Simon eu ja removi do sistema, ela é chato pra configurar e o iftop faz o mesmo com mais eficiencia.
Acho que tem algum bug no DarkStat novo, visto que o antigo eu usei por um bom tempo e nunca deu esse tipo de problema.
Talvez a correção recem implementada seja para resolver esse problema.

Agradeço a atenção.
Eduardo

Eduardo, vou compilar o novo e upar (assim que possível)...
Qual versãodo DarkStat você utilizava sem problemas?
Dependendo do desempenho dessa nova versão do binário, eu vou compilar uma versão mais antiga do binário (essa que você citou utilizar) para que não tenhamos problemas.

Bom, abraço amigos!

[Eduardo]

Marcinho, a versão que tinha um bug nos filtros nao travava o BFW.
A anterior e a atual tinham o mesmo problema de incerrencia na velocidade.
Se quiser, upa duas versões, uma antiga com alguma correção e outra com as atualizações do projeto que eu testo todas pra voce.

Valeu
Eduardo

[WTC2009]

OK marciño gracioas por responder

tengo un pequeño problema hace unos dias quise instalar el addons lo ice desde luego pero cuando comienzo a adicionar los puertos me tilda error me dice bind busy o bind no instalado yop solo uso brazil fw 2.31.10 sp1+ con arg qos no poseo bind, no poseo squid, otra cosa que note que cada vez que digo recargar el addons me sale eroor voy a gacer algunas capturas de pantalla y te confirmo gracias de antemano

[M客¡NhØ §åMµ®å¡]

OK marciño gracioas por responder

tengo un pequeño problema hace unos dias quise instalar el addons lo ice desde luego pero cuando comienzo a adicionar los puertos me tilda error me dice bind busy o bind no instalado yop solo uso brazil fw 2.31.10 sp1+ con arg qos no poseo bind, no poseo squid, otra cosa que note que cada vez que digo recargar el addons me sale eroor voy a gacer algunas capturas de pantalla y te confirmo gracias de antemano

Você está usando à mesma porta para todos os monitoramentos que está adicionando?
Quando é exibida a mensagem contendo "bind busy" no DarkStat, normalmente quer dizer que o socket (IP+PORTA) está em uso...
Se possível, vá na tela de gerenciamento dos monitoramentos (aquela tela que exibe uma tabela com os monitoramentos cadastrados) e faça um printscreen e poste aqui para analisarmos.

No aguardo...

Abraço amigo!

[WTC2009]

M客¡NhØ §åMµ®å¡
si para yo probar coloque los mismos que tu colocaste y me tildo ese error que me puedes sugerir vos para monitorear la red algo basico solo para saber que hay movimeinto de trafico gracias de antemano saludos

[M客¡NhØ §åMµ®å¡]

M客¡NhØ §åMµ®å¡
si para yo probar coloque los mismos que tu colocaste y me tildo ese error que me puedes sugerir vos para monitorear la red algo basico solo para saber que hay movimeinto de trafico gracias de antemano saludos

As portas precisam ser diferentes...
Se o monitoramento que já vem com o addon usa a porta 667, os novos monitoramentos poderão utilizar qualquer porta que não seja a 667 (pois ela já está em uso, bem como a 8180, que é do WebAdmin, ou a 8282, que é do EC, e por aí vai...).
Resumindo, cada monitoramento deve estar em uma porta e essa porta não deve estar em uso por nenhum outro utilitário/software/programa...

Abraço amizade!

PS: Isso consta no Tutorial...

[M客¡NhØ §åMµ®å¡]

Marcinho, a versão que tinha um bug nos filtros nao travava o BFW.
A anterior e a atual tinham o mesmo problema de incerrencia na velocidade.
Se quiser, upa duas versões, uma antiga com alguma correção e outra com as atualizações do projeto que eu testo todas pra voce.

Eduardo, na verdade a versão atual e a antiga, são a mesma coisa.
Só fiz umas alterações nos scripts de inicialização, desligamento e no script CGI da interface gráfica.
O binário do DarkStat é o mesmo.
Efetuei hoje pela manhã testes no novo binário liberado lá no projeto original.
Os resultados foram péssimos!
Não sei porque cargas-d'água, o binário roda, inicia a instância web direitinho, mas não captura nenhum pacote.
Não foi exibida nenhuma mensagem de erro e etc na compilação, então estou de mãos atadas.
Só para desencargo de conciência instalei no BFW a biblioteca pcap, porém sem resultados...
Então pelo menos por enquanto teremos que ficar com esse binário mesmo.
Estou vendo se consigo uma estrutura maior para realizar testes, daí verei como se comportam as versões anteriores do binário.
Resumindo, continuaremos com a versão 3.0.712 do binário.

Abraço amizade!

[Eduardo]

Vamos la Marcinho, ve se eu posso te ajudar.

Me arruma a versão antes das alterações de script que vc fez para eu testar na base grande que eu tenho e ver se ela fica estavel.
Essa versão é a que tem um bug nos filtros personalizados.
Se eu não me enganei, ela rodava 100%, mas quero ter certeza para não ficar fazendo diagnostico errado.

Minha base é de 120 usuarios com reservas de IP, mas tenho no maximo 60 usuarios simultaneos no BFW.
Claro que tem o pessoal com router que pode aumentar o peso desta rede, mas para o que estamos tentando determinar isso nao tem importancia.

Minha ideia é testar a versão sem alterações e ver como ela se comporta, e a partir da estabilidade dela, voce vai modificando o script passo a passo para determinarmos onde ta o bug, se é que ele existe.

Quando ao novo binario, nao tem o que fazer, é aguardar para ver se rola uma nova versão para voce poder adaptar ao BFW.

Meu trabalho hoje com internet esta baseado fortemente em controle e diagnostico, dai a importancia deste aplicativo.
Com ele determino qual porta ta sendo mais usada e posso assim direcionar o trafego para um link sem franquia de up/download, justamente o pesadelo que a internet barata aqui em SP insiste em impor atraves do Virtua.

To a disposição para testes, é so chamar.

Bye.
Eduardo

[M客¡NhØ §åMµ®å¡]

Vamos la Marcinho, ve se eu posso te ajudar.

Me arruma a versão antes das alterações de script que vc fez para eu testar na base grande que eu tenho e ver se ela fica estavel.
Essa versão é a que tem um bug nos filtros personalizados.
Se eu não me enganei, ela rodava 100%, mas quero ter certeza para não ficar fazendo diagnostico errado.

Eduardo, fiz o upload da versão anterior do DarkStat...
http://www.brazilfw.com.br/users/Marcin ... rkstat.tgz
Aguardo retorno, amizade...

Obrigado pela ajuda, abraço!

[Eduardo]

Caro Marcinho, desculpe a demora em reportar os resultados dos testes do Darkstat, fiquei enrolado com alguns outros problemas.

Mas vamos la, fiz a instalação de 02 versões do Darkstat em 02 ambientes distintos.
Um eu implantei no cliente maior, com 80 usuarios, a versão antiga e ta rodando bem.
A diferença com relação a config anterior foi que desta fez eu removi o BandwhichD desta maquina.
Assim ficou so o Mysar com o Darkstat e o DNScache mais alguns adds menores.
Em outro eu implantei o Darkstat mais novo, tambem sem o BandwhichD, mas num ambiente com apenas 6 clientes.
Ambos estão rodando muito bem, sem nenhum problema de travamento.
Acredito que nao podemos abusar de aplicativos que fazem coleta de dados, tem que escolher quem vai e quem fica.

No caso do Darkstat novo, testei as regras simples para monitorar a rede, um cliente e um site.
Usei todos na eth0, no modo promiscue, onde ele relata tudo na aba Host, uso, portas, clientes e sites.
Observei que os graficos na eth0 nao são confiaveis, ficam abaixo do real, apessar de os bytes estarem corretos.
Na verdade o que me interesa é as informações de uso detalhada, os graficos em real-time apesar de bonitos são dispensavel.
Mais tarde testo as mesmas regras na eth1, o resultado deve ser o mesmo se usar o promiscue mode e talvez os graficos fiquem corretos.

O resultado foi bom, todos os monitoramentos funcionam, é possivel determinar quem usa o site monitorado e nos usuarios quais acessos foram feitos e quando se consumiu em bytes para este.

So tive um problema ao mandar ele recarregar os monitoramentos pelo Webadmin.
Travou o acesso ao webadmin e tive que reiniciar o BFW.
Depois consegui recarrega-los, sem problema.
O darkstat tem comandos por linha para efetuar essa recarga e tambem para desativa-lo ou reativa-lo?

Vou continuar em testes e aviso voces os resultados.

Eduardo
Pcbol Soluções

[M客¡NhØ §åMµ®å¡]

Caro Marcinho, desculpe a demora em reportar os resultados dos testes do Darkstat, fiquei enrolado com alguns outros problemas.

Sem problemas... Todos temos outras responsabilidades, isso é normal...
Não há porque se desculpar, você me ajuda muito nos testes, só tenho à agradecer.

So tive um problema ao mandar ele recarregar os monitoramentos pelo Webadmin.
Travou o acesso ao webadmin e tive que reiniciar o BFW.
Depois consegui recarrega-los, sem problema.
O darkstat tem comandos por linha para efetuar essa recarga e tambem para desativa-lo ou reativa-lo?

Isso é galho... Vou dar uma olhada nos scripts...
Na verdade o DarkStat deveria ser utilizado (carregado) via console mesmo... O que eu fiz foi compilar o binário e criar scripts e a interface web para armazenar dados em arquivos texto e executar os comandos adequados baseando-se na informação guardada nos arquivos texto...
Para rodar os scripts no console com suas respectivas "funções":
/etc/rc.d/pkgs/rc.darkstat start - Iniciar o DarkStat (todos os monitoramentos configurados);
/etc/rc.d/pkgs/rc.darkstat stop - Parar o DarkStat (todos os monitoramentos configurados);
/etc/rc.d/pkgs/rc.darkstat restart - Recarregar o DarkStat (todos os monitoramentos configurados);
Para rodar o "DarkStat mesmo", sem nenhum dos monitoramentos configurados (seria como se fosse criar um monitoramento via console, porém, esse monitoramento não será acrescido à listagem de monitoramentos do DarkStat na interface que foi feita para o BFW), basta rodar o binário do DarkStat seguido dos parâmetros desejados...
/usr/local/sbin/darkstat --help - Esse comando irá exibir "a ajuda" do binário do DarkStat, assim pode-se saber quais os parâmetros que se deve usar para um "monitoramento manual"...

Vou continuar em testes e aviso voces os resultados.

Beleza, Eduardo... Sem pressa, faz no seu tempo livre mesmo.

Abraço amizade!

[Eduardo]

Caro Marcinho, informo que o Darkstat nas duas versões esta estavel e sem problemas.

A unica incoerencia é nos graficos de eth0 que registram velocidade abaixo do real, porem hosts e totais de bytes reais.
Esse problema so acontece na eth0, na eth1 os graficos ficam d+, porem nao por muito tempo, apos alguns minutos a tela para de receber o refresh dele, mas nao trava o BFW e volta bastando clicar em graficos de novo.
Acredito que o Darkstat nao pode rodar junto com o BandwhichD mesmo, afinal foi a unica mudança significativa que fiz.

Abri a porta 667 no BFW e daqui do escritorio tenho acesso as info dele, isso ajuda muito a fazer diagnostico de utilizadores pesados entre outros.

Para quem tiver interesse em abrir a porta para acessar de fora, segue um tutorial bem basico.
Configuração Avançada do Firewall - Editar Arquivo de Configuração
admin Y permit all int-if any all 667 #Acesso Remoto Darkstat

Redirecionamento de Portas - Editar Arquivo de Configuração
port Y 192.168.0.1 tcp 667 667 dns #Acesso Externo a porta 667

Lembrando que tem que estar com o ipupdate instalado.

Grato.

Eduardo
Pcbol Soluções

[M客¡NhØ §åMµ®å¡]

Caro Marcinho, informo que o Darkstat nas duas versões esta estavel e sem problemas.

A unica incoerencia é nos graficos de eth0 que registram velocidade abaixo do real, porem hosts e totais de bytes reais.
Esse problema so acontece na eth0, na eth1 os graficos ficam d+, porem nao por muito tempo, apos alguns minutos a tela para de receber o refresh dele, mas nao trava o BFW e volta bastando clicar em graficos de novo.

Beleza, Eduardo...
A questão dos gráficos, vou ver oque posso fazer referente à isso dando uma olhada no código fonte do binário...
Se eu não conseguir, teremos que aguardar a atualização no projeto original.

Acredito que o Darkstat nao pode rodar junto com o BandwhichD mesmo, afinal foi a unica mudança significativa que fiz.

Vou colocar uma advertência quanto à isso, informando sobre incompatibilidade desses addons.


Eduardo, muito obrigado pela ajuda e relatos!

[Eduardo]

Marcinho, a incompatibilidade não é conclusiva, existem indicios fortes, mas certeza não da pra ter.

Recomendo a troco do BandwhichD pelo Darkstat por varios motivos.
Os principais são:
- O Darkstat nao tem incompatibilidade com o Mysar
- O Darkstat tem um melhor detalhamento do que o BandwhichD
- O Darkstat esta em desenvolvimento e pode melhorar
- O Darkstat tem filtros

O pessoal que desenvolve ele tem previsão da atualização?

Quem agradece sou eu.

Eduardo
Pcbol Soluções

[M客¡NhØ §åMµ®å¡]

Marcinho, a incompatibilidade não é conclusiva, existem indicios fortes, mas certeza não da pra ter.

Certo... Acho que o melhor mesmo é alertar quanto à riscos de travamento ao utilizar-se os dois juntos.

O pessoal que desenvolve ele tem previsão da atualização?

Não lembro-me de ter visto uma previsão, mas sempre que posso dou uma olhada nos "projetos originais" de todos os addons que anuncio aqui, afim de mantê-los sempre atualizados.

Abraço Eduardo!

[Eduardo]

Caro Marcinho, apos os problemas que tive e que desconfiei que era por causa do Darkstat no meu cliente com 80 usuarios, informo que apos a troca do servidor AMD para um Intel os problemas cessaram.
Portanto e mais uma vez, o problema era Hardware e não o BFW.
Isso ta acontecendo com frequencia, ja aprendi que temos que tomar muito cuidado com o Hardware para não ter dor de cabeça.

Bom, fica então registrado que a ultima versão disponivel aqui do Darkstat esta estavel.

A proposito, tem como programar o darkstat, para em caso de reboot do sistema, ele recuperar os dados ja contabilizados e continuar de onde parou esse monitoramento, como faz o BandwhichD?

Valeu Marcinho.

Eduardo

[M客¡NhØ §åMµ®å¡]

Bom, fica então registrado que a ultima versão disponivel aqui do Darkstat esta estavel.

A proposito, tem como programar o darkstat, para em caso de reboot do sistema, ele recuperar os dados ja contabilizados e continuar de onde parou esse monitoramento, como faz o BandwhichD?

Sim e não...
Ao configurar o monitoramento como "continuo", os dados serão registrados e o monitoramento será retomado "de onde parou" caso o monitoramento seja reiniciado (em caso de reiniciar o BFW, por exemplo)... Porém, isso só é feito de fato se o DarkStat "for finalizado".
Se ocorrer um kernel panic ou o BFW for "resetado" (botão reset do gabinete ou pico/falta de luz) os dados não serão registrados (eles são registrados quando o DarkStat é "finalizado normalmente" e não "repentinamente").

Valeu Marcinho.

Valeu Eduardo.
Muito obrigado pelos relatos, amizade!

[Eduardo]

A proposito, tem como programar o darkstat, para em caso de reboot do sistema, ele recuperar os dados ja contabilizados e continuar de onde parou esse monitoramento, como faz o BandwhichD?

Sim e não...
Ao configurar o monitoramento como "continuo", os dados serão registrados e o monitoramento será retomado "de onde parou" caso o monitoramento seja reiniciado (em caso de reiniciar o BFW, por exemplo)... Porém, isso só é feito de fato se o DarkStat "for finalizado".
Se ocorrer um kernel panic ou o BFW for "resetado" (botão reset do gabinete ou pico/falta de luz) os dados não serão registrados (eles são registrados quando o DarkStat é "finalizado normalmente" e não "repentinamente").

Então ve se da pra fazer o seguinte para não perder o monitoramento em caso de reset forçado ou falta de luz (quando falta por mais de 30 minutos o No-Break cai e eu perco os dados).

Criar uma regra de finalização e reinicialização do Darkstat no Cron a cada 24 horas.
Essa regra faria o fechamento e a gravação dos dados, e logo apos reinicializa o serviço.
A perda de dados seria irrisoria, menos de 1 minuto em cada reboot do Darkstat.
E o maximo de perde de monitoramento em caso de reset seria 24 horas, melhor do que perder dias ou meses.

Duvidas:
Essa gravação dos dados fica disponivel para o Darkstat caso ele seja interompido sem fechamento ou ele pega a ultima gravação disponivel nesse caso?
Quais comandos eu uso para finalizar e reiniciar?

Outro desdobramento, estou testando o BFW 3.0 e adorei o Ntop.
Dei uma pesquisada e achei o seu post do Ntop, to baixando ele e vou testar no BFW 2.10 e verificar se ele me atende na nescessidade que eu tenho de controle de uso.
Com isso fica mais uma alternativa de addon para controle de uso, que ja são 03, o Bandwithd, o Darkstat e o Ntop.

Valeu Marcinho.

Eduardo - PCBOL

[M客¡NhØ §åMµ®å¡]

Essa gravação dos dados fica disponivel para o Darkstat caso ele seja interompido sem fechamento ou ele pega a ultima gravação disponivel nesse caso?

Se não for "finalizado corretamente" (uma falta de energia, por exemplo) o DarkStat irá pegar a última gravação que tenha sido feita (que no caso seria da execução anterior à esta onde ocorreu a falta de energia).

Quais comandos eu uso para finalizar e reiniciar?

• Parar o serviço
  

  Código: Selecionar todos

  /etc/rc.d/pkgs/rc.darkstat stop

• Iniciar o serviço
  

  Código: Selecionar todos

  /etc/rc.d/pkgs/rc.darkstat start

• Recarregar o serviço
  

  Código: Selecionar todos

  /etc/rc.d/pkgs/rc.darkstat restart

Outro desdobramento, estou testando o BFW 3.0 e adorei o Ntop.
Dei uma pesquisada e achei o seu post do Ntop, to baixando ele e vou testar no BFW 2.10 e verificar se ele me atende na nescessidade que eu tenho de controle de uso.
Com isso fica mais uma alternativa de addon para controle de uso, que ja são 03, o Bandwithd, o Darkstat e o Ntop.

Valeu Marcinho.

O NTop é uma excelente ferramenta...
Quando eu compilei o DarkStat para o BFW, o NTop já estava disponível...
Eu revisei o NTop devido à problemas relatados por vários usuário quando tentavam utilizá-lo...
Infelizmente não fui tão feliz, pois foram relatados novos erros mesmo após a revisão e eu não consegui reproduzir nenhum deles.
De qualquer forma volto à afirmar que revisarei novamente esse addon, pois já utilizei o NTop e sei que é uma ferramenta excelente. Essa revisão não tem uma data definida para seu término, pois além desse addon tenho outros ainda para revisar e também estou contribuindo no momento com a revisão/reformulação/testes iniciais na nova versão 2.32 do BFW.

Abraço Eduardo e demais companheiros!

[Eduardo]

Marcio, com o restart do serviço ele grava os dados, fecha e reinicializa ou é mais seguro fazer o stop e o start?

Eduardo

[M客¡NhØ §åMµ®å¡]

Marcio, com o restart do serviço ele grava os dados, fecha e reinicializa ou é mais seguro fazer o stop e o start?

Eduardo

Opa... Então, o "restart" na verdade executa o "stop" e o "start", então dá na mesma você utilizar o restart ou dar um stop e depois start.


Abraço brother!

[Eduardo]

Claro, restart serve pra isso.
Ja fiz um teste aqui com o stop e start mas não deu certo, o stop ta rebootando o BFW..
Olha o log do comando, ta estranho..

Código: Selecionar todos

/etc/rc.d/pkgs/rc.darkstat stop
Parando DarkStat...
Verificando e finalizando monitoramentos em execução...
Finalizando o processo (PID 1|Internet|eth1|0|1|1|668|1|1|0|)... Ok
Finalizando o processo (PID 1|Rede|eth0|0|1|1|667|1|1|0|)... Ok
Finalizando o processo (PID 13241)... Ok
cat: /partition/darkstat/running/Rede.pid: No such file or directory
Finalizando o processo (PID )... BusyBox v1.2.1 (2008.04.29-16:34+0000) multi-call binary

Usage: kill [-signal] process-id [process-id ...]

Falha!

Cheguei a remover e reinstalar o Darkstat, mas continua rebootando.
Vou fazer mais alguns testes e te retorno, pois infelizmente o NTop não deu certo, apesar de ter conseguido instala-lo, ele ta muito instavel, não entendo por que ele para de funcionar apos algumas horas de uso.

Boa semana Marcio

Eduardo PCBOL

[M客¡NhØ §åMµ®å¡]

Claro, restart serve pra isso.
Ja fiz um teste aqui com o stop e start mas não deu certo, o stop ta rebootando o BFW..
Olha o log do comando, ta estranho..

Código: Selecionar todos

/etc/rc.d/pkgs/rc.darkstat stop
Parando DarkStat...
Verificando e finalizando monitoramentos em execução...
Finalizando o processo (PID 1|Internet|eth1|0|1|1|668|1|1|0|)... Ok
Finalizando o processo (PID 1|Rede|eth0|0|1|1|667|1|1|0|)... Ok
Finalizando o processo (PID 13241)... Ok
cat: /partition/darkstat/running/Rede.pid: No such file or directory
Finalizando o processo (PID )... BusyBox v1.2.1 (2008.04.29-16:34+0000) multi-call binary

Usage: kill [-signal] process-id [process-id ...]

Falha!

Cheguei a remover e reinstalar o Darkstat, mas continua rebootando.
Vou fazer mais alguns testes e te retorno, pois infelizmente o NTop não deu certo, apesar de ter conseguido instala-lo, ele ta muito instavel, não entendo por que ele para de funcionar apos algumas horas de uso.

Boa semana Marcio

Eduardo PCBOL

Eduardo, estou reorganizando a minha agenda de forma à poder dar uma maior atenção aos addons (incluindo o DarkStat)...
Acabei ficando sem tempo para revisar todos os addons de minha autoria devido à algumas questões pessoais e trabalhistas (fora a participação em outras questões aqui no projeto mesmo).

Assim que possível retomarei as atividades, pois o DarkStat é considerado por mim um addon importante devido as diversas opções que temos para utilizá-lo (claro que se após uma revisão e atualização do binário o NTop se mostrar estável, ele será bastante utilizado, pois é mais conhecido e conta com algumas informações que o DarkStat não tem).

Por hora é isso.

Abraço amizade!

[Eduardo]

Caro Marcio, fica tranquilo, so to reportando para voce ficar sabendo como anda a saude do seu filhote...
Eu sei como deve estar a sua situação de tempo, ainda mais com o desenvolvimento do BFW 3.0 e o 2.32.

Apenas para completar a informação, em outro servidor BFW 2.31.10 SP1 eu fiz o stop e restart do Darkstat e nele nao resetou o BFW.
Porem, tambem não finalizou o Darkstat, ou seja, o comanda não fez nenhuma tarefa.

Ficamos assim, vamos aguardar sua disponibilidade para manutenção dos 02 addons de controle, o Ntop e o Darkstat para então verificar qual fica mais estavel ou tem mais detalhamento de informação.

Enquanto isso, vou tocando com ambos, cada servidor se comporta de um modo diferente com cada um dos dois, o que fica mais estavel eu mantenho e descarto o outro.

Valeu Marcio.

Eduardo - PCBOL

[pablino76]

Marcinho , voi probar su addon loogo postreio aqui mis resultados
usted e um master