«

»

jul 03 2008

Falha em rede atinge conexão à internet no Estado de SP

O backbone da Telefónica está com problemas, e como resultado, acessos corporativos e domésticos (Speedy) estão sendo afetados desde ontem à tarde. A coisa é séria, BEM séria. Eis que temos dois colaboradores diretamente envolvidos na resolução deste impasse: O Rodrigo e o Adeilson! Conversei há pouco com o Rodrigo Cesine, que faz parte da “força-tarefa” designada para resolver o problema, e deu para perceber que a coisa é bastante séria. Bom trabalho e boa sorte my friend!!!

Depois, se puder, escreva um pouco sobre o assunto! Tenho certeza que vai ter muita gente interessada em ler 🙂 !

Da Folha de São Paulo:

O Estado de São Paulo enfrenta problemas de acesso à internet nesta quinta-feira (3), com lentidão ou indisponibilidade completa na conexão. A Folha Online apurou que a rede da Telefônica apresenta problemas, gerando reflexos na banda larga, conexões dedicadas (de alta velocidade, utilizadas principalmente por empresas) e outros tipos de acesso.

A falha começou a ser sentida na quarta-feira (2) e se intensificou durante a madrugada de hoje. Com isso, a conexão de grande parte dos internautas e das empresas que usam a rede da Telefônica no Estado está instável. Especialistas ouvidos pela reportagem classificaram a pane como “grave” e sem previsão de retorno.

A instabilidade no serviço atinge não só a rede banda larga do provedor Speedy, mas também serviços de conexão dedicada utilizados principalmente por empresas e outras redes. Procurada pela reportagem, a Telefônica não se pronunciou até a publicação desta reportagem.

A pane na rede da Telefônica prejudica inclusive os registros da polícia de São Paulo desde o começo da madrugada, de acordo com a Secretaria da Segurança e a Prodesp (Companhia de Processamento de Dados do Estado de São Paulo).

O problema atinge metade dos 12 mil pontos de acesso mantidos pela Intragov, a rede de comunicação utilizada pelo governo do Estado de São Paulo. Ao menos a cidade de São Paulo e Campinas (98 km de SP) foram afetadas.

Segundo a Prodesp, a Telefônica é fornecedora da tecnologia empregada no data-center do governo do Estado mantido em Taboão da Serra (Grande São Paulo).

Devido ao problema, parte dos serviços do Poupatempo, como emissão de CNHs (Carteira Nacional de Habilitação) e documento de identidade (RG) também estão paralisados.

A Prodesp informou que os problemas tiveram início por volta das 12h de quarta-feira (2), e a Telefônica deu o prazo até as 2h desta quinta-feira (3) para solucionar o problema, o que não ocorreu. Um novo prazo foi dado –às 6h de hoje–, entretanto, a pane não foi solucionada.



Comente usando o Facebook!
0
0

52 comentários

Pular para o formulário de comentário

  1. peterson

    O problema ocorre no backbone SDH em sp. O equipamento afetado está sem gerência remota e também apresentou falha na proteção.

    0

    0
  2. nelsonjr

    Acho uma ideia legal para nós leitores do forum que o pessoal que trabalha diretamente na area de redes de operadoras ou que prestem serviços na area, contem alguns CASES sobre alguns acontecimentos, não sei os outros mais eu gosto muito de ver tais cases onde problemas grande são resolvidos e como são resolvidos….isso gera uma visão melhor e maior as pessoas que não são da area ou até que são mais atuam em setores com criticidade um pouco menor.

    0

    0
  3. diogocampregher

    E eu que fiquei maluco quando caiu um link de fibra aqui na empresa!!! Imaginem a responsabilidade dos nossos colegas!!! Depois se possível nos contem mais detalhadamente o acontecido.
    Muita calma nessa hora.

    0

    0
  4. Mizael Andrade Reis

    Boa sorte aos nossos colaboradores envolvidos.Por mais preocupante que seja esse problema, serão dele, colhidas boas experiencias, que com certeza serão repassadas ao nosso blog.hehehe. Deus abençõe

    0

    0
  5. fabio pereira

    Pessoal,

    segundo meu amigo de trabalho Erivelton Oliveira Paes, ex Telefonica, atual CTBC, não eh problema no backbone SDH, se assim fosse estaria afetando muito mais serviços, até mesmo os de telefonia fixa, o real problema é de roteamento, e até o momento não foi identificada a solução, tambem não ah muitos detalhes da causa.

    0

    0
  6. Anderson Rodrigues

    Recebi e-mails de alguns amigos de trabalho, de filiais da empresa lá do sul do Brasil, e parece que o outage está atingindo eles também.

    0

    0
  7. Toguko

    Gostaria realmente de saber o que hove para que este problema acontecesse. a verdade é claro

    Abraços

    0

    0
  8. nelsonjr

    Concordo com vc Toguko… ja vi em 3 jornais de audiencia na TV.
    Me parece q eles tem até amanha atarde para solucionar ou rola multa de 3mi +.

    0

    0
  9. Marco Filippetti

    O problema em SP foi resolvido (na cidade). O Rodrigo me ligou e passou que isolaram o problema e já estão trabalhando para soluciona-lo. Ou seja, o prazo será cumprido, ao que parece…! Eita problemão!!!!

    0

    0
  10. tjlwx

    Aquí no Guarujá o Speedy Business voutou..

    0

    0
  11. thiagocella

    Aqui em São Bernardo do Campo – São Paulo já voltou tbm.

    0

    0
  12. Fábio Lima

    A Telefônica informou ter normalizado o funcionamento de seus serviços de transmissão de dados na Grande São Paulo, nas cidades do Vale do Paraíba e do Litoral Paulista. http://tecnologia.terra.com.br/interna/0,,OI2988529-EI4802,00.html

    0

    0
  13. Leonardo Gomes

    Vamos torcer para os colaboradores e sua equipe resolvam o problema a tempo.
    Mas que esse problema está estranho está.

    0

    0
  14. nelsonjr

    To na espectativa de saber qual é esse problema.
    []’s

    0

    0
  15. peterson

    O início da afetação foi ontem devido a queda equipamento do backbone SDH. Como hoje não estou na empresa hoje, não sei dizer mais aconteceu. Pode ser que durante a comutação do trecho afetado ontem tenha acontecido um problema de roteamento.

    0

    0
  16. Bruno N. Paiuca

    Ficamos no aguardo de uma posição da Telefonica.

    0

    0
  17. Silvio Veira

    Srs conforme foi comentado pelo Fabio Ferreira que recebeu a informação do Erivelton ( meu grande amigo e ex colega de Telefônica), é impossivel a causa ter sido no Backbone do SDH somente, pois afetaria as linhas telefonicas e não somente os acessos Banda larga. Tmb concordo com o Erivelton que o problema é roteamento e não é devido a falha de um único equipamento pois se assim fosse seria muito simples isolar esse ponto e restabelecer o serviço. É muito mais sério dq isso, e não ficarei surpreso se a informação que for vinculado como solução deste caso não for a verdadeira… prejuizos grandes…. sinceridades nessas horas causam prejuizos ainda maiores.

    0

    0
  18. Telles

    Tem gente de lá de dentro falando que é pau no DNS, mas vai saber, é muito difícil de aparecer a verdade quando acontece evento desse porte.

    0

    0
  19. edsontadeu

    Eu já ouvi um cara comentar que foi invasão. Parece que a cisco divulgou uma falha no protocolo MPLS recentemente e a invasão se deu por conta dessa mesma falha… mas, o verdadeiro problema não deve chegar a público 🙂 [] ‘s

    0

    0
  20. Thiago Brecci

    No ano passado, quando eu ainda trabalhava na Telefonica Empresas, deu um problema muito parecido. Porém foi solucionado dentro de 24hs e também parou o acesso do estado inteiro. Nesta ocasião, foi problema no roteamento dos Core’s. Pode ser boato, mas fui informado que na ocasião era um roteador que subiu com IS-IS e assumiu o BGP. ou algo em torno disso… porém, como não conheço de IS-IS AINDA, prefiro não dar certeza alguma.

    0

    0
  21. dsguedes

    E a corda arrebenta do lado mais fraco…

    Quando o presidente da empresa é forçado a iniciar o Plano de Comunicações do Gerenciamento de Crise, é porque a coisa está “preta”. Com certeza “cabeças vão rolar”, principalmente por afetar inúmeros contratos governamentais com SLA apertado e rígidas multas (Intragov, por exemplo).

    Existe toda uma esfera política envolvida, e infelizmente toda a abrangência da área técnica só é valorizada quando atinge diretamente o core business, como esse caso. A bomba estourou na mão da equipe técnica nesse momento, entretanto, eu me pergunto se o problema não começou antes dos bytes.

    Contratos com fornecedores mal administrados, falta de treinamento e desenvolvimento de equipe interna, gerenciamento ineficaz da alta administração, inadmissão do teste de Continuidade de Operações, inúmeras terceirizações, redução de custo e carga de trabalho excessiva são apenas alguns dos aspectos que tangem o início desses mega-problemas.

    Eis a pergunta que me vêm a mente:

    – O problema é somente de ordem técnica? A responsabilidade pela crise, e o ônus causado cabe a equipe técnica?

    Att.,

    Diogo Guedes

    0

    0
  22. Lima

    Depois que a poeira baixar eu conto o que realmente ocorreu

    0

    0
  23. Lima

    Concordo em número e grau com o Diogo Guedes.

    0

    0
  24. Thiago Brecci

    DsGuedes,

    se tratando da telefônica ??? Com certeza foi essas as razões.

    Quando trabalhava lá, lembro-me muuuito bem de um Core da Vila Mariana, em SP, estar funcionando “normalmente” com 93% de sua capacidade no processamento. Sinceramente, isso em um roteador eu acho um pouquinho arriscado. ainda sendo na nuvem com diversas interfaces,,,,

    0

    0
  25. Marco Filippetti

    Dificilmente cabeças rolam quando um problema desta magnitude ocorre. Pelo simples motivo que, se rolar, quem sai dá com a lingua nos dentes, e para a Telefonica isso não é interessante.

    É o princípio básico da contenção de crise.

    Marco.

    PS: Cuidado com os comments do tipo “Meu amigo disse que…” “Ouvi dizer que…”, pois é tudo especulação. Se alguém, de fato, participou do problema DE DENTRO e quiser dizer alguma coisa (as vezes isso não é possível), que o faça, mas chega de especulações.

    Abs!

    0

    0
  26. Fabio A de Amorim

    Pessoal,

    Notícia nova: Folha Online: “Telefônica diz que equipamentos de roteamento geraram pane”

    http://www1.folha.uol.com.br/folha/informatica/ult124u419300.shtml

    Abraços,
    Fábio A. de Amorim

    0

    0
  27. Wederson (CeBoLaRk)

    Gente,

    Fico pensando, se em SP a coisa ficou assim, todo esse tempo sem net, imagina se ocorrer algo parecido aqui, em Rondonia. My God.

    0

    0
  28. Fabio A de Amorim

    hahahahahahaha! Boa cebolark!!! 😉

    0

    0
  29. Fabio A de Amorim

    Mais duas notícias:

    – Ministro das Comunicações admite que o sistema da Telefônica é “vulnerável” : http://www1.folha.uol.com.br/folha/informatica/ult124u419257.shtml

    – Presidente da Anatel diz que Telefônica pode ser multada por pane : http://www1.folha.uol.com.br/folha/informatica/ult124u419254.shtml

    Abraços,
    Fábio A. de Amorim

    0

    0
  30. Henrique!

    ahahahahah
    aliás… muito boa!

    0

    0
  31. Fabrício ALDC

    24hrs sem internet “Na Sibéria não tem nada disso”
    kkk

    0

    0
  32. SKVini

    Marco,
    vc foi um pouco duro com a galera… Umas piadinhas de vez em quando, descontraí um pouco o stress.
    A Telefônica tem muita grana paras as multas mixurucas que serão aplicadas..
    Já se acumulou muita grana, não só de lucro, más com a “quinterizações” que Ela faz por aí..

    0

    0
  33. Marco Filippetti

    Muito duro??? rsrsrsrs como assim??? ahah o que eu fiz, diacho?

    0

    0
  34. thiagocella

    Pessoal , nesse exato momento dia 04/07/08 às 16:30 , meu acesso à internet voltou a apresentar problemas.

    Tentei configurar um dns alternativo e a internet voltou ao normal, sem esse DNS só abria o site do Terra, mas bem lento.
    Inclusive só estou conseguindo postar agora depois de configurar o DNS alternativo que é :

    208.67.222.222

    0

    0
  35. Rodrigo C. Soave

    Bom pessoal, eu e o Adeilson como trabalhamos diretamente e massivamente no problema desde quarta-feira iremos nos posicionar a respeito sobre o problema quando os fatos vierem a publico de forma oficial e não de especulações.

    Temos que tomar cuidado com: um amigo meu disse, alguem me falou, por que isso nessas horas é normal numa situação dessas devido a famosa “rádio peão”, uma vez que todos os funcionários da Telefonica sejam elas técnicas ou não escutam alguma coisa e acabam falando do jeito que entenderam, tipo telefone sem fio.

    O que posso afirmar é que o problema gerado foi uma situação muito rara e complexa mesmo, uma vez que o backbone da Telefonica “rodam” equipamentos de varios vendors (Cisco, Juniper, Huawei, Alcatel, etc) e com diversos meios de transmissão (Metroethernet, ATM, POS, FR, ADSL, etc) e por ser muito grande, complexa e multivendor e multi plataforma a demora na resoluçaõ do problema, mesmo com a grande gama de ferramentas de gerencia e troubleshooting que temos.

    Posso adiantar ainda que não foi falha de bug nem tampouco invasão, como comentam.

    Uma falha realmente ocorreu, mas o que posso adiantar que essa falha ocorreu devido ao internetworking desses muitos elementos que falam entre si através de protocolos L2 e L3 de transporte.

    Posso dizer ainda que esse problema só poderia acontecer em um ambiente desse tamanho uma vez que cada fabricante pode implementar de forma diferente um protocolo mesmo ele sendo RFC fazendo com que as vezes o comportamento da rede fique estranho e as vezes devastador como o que aconteceu.

    O que a Telefonica pode tirar disso são as lições aprendidas e a experiência de ter presenciado um problema dessa magnitude. Vulnerabilidades existem, mas iremos trabalhar para mitigar isso e fazer com que não ocorra novamente.

    0

    0
  36. Marco Filippetti

    Boa Rodrigão!!!

    0

    0
  37. Wederson (CeBoLaRk)

    Fabio e Henrique..

    Conseguiram imaginar? rsrsrs

    0

    0
  38. rafael rachid ferreira

    Rodrigo,
    Boa noite,
    Sou da época da Telesp e conheço bem estes problemas, já participei muito desse tipo de ocorrência.
    Porém gostaria de saber exatamente o que aconteceu.
    Aproveito para parabenizar a equipe técnica de redes da telefônica que participaram da ocorrência e todos os envolvidos no problema

    Abraço,
    Rafael Rachid Ferreira.
    Analista de infra-estrutura de telecomunicações de STH e CCNA .

    0

    0
  39. Marcos Pitanga

    Isso me lembra um problema que peguei de implementações diferentes do protocolo SCTP entre duas centrais digitais conversando com um software de tratamento de CDR’s… Foi complicado… Muito Wiresharck nesta hora e comparar como cada fabricante implementava o protocolo e como o software em “C” na outra extremidade tratava o protocolo.

    Esses desafios são super-interessantes. Mas é uma pressão descomunal.

    0

    0
  40. Toguko

    Boa mensagem do Rodrigo, acho que em breve a telefonica vai divulgar alguma notícia sobre o que causou a falha, mas deve ser uma notícia geral para o povo, espero que o Rodrigo e outras pessoas que trabalham na telefonica possa nos dar uma notícia técnica sobre esse assunto, seria muito bom mesmo.

    Abraços, Rafael Venancio

    0

    0
  41. Douglas Falsarella

    Ainda não sei o que realmente aconteceu, mas conforme Carlos Valente ( Presidente da Telefonica) informou em entrevista a UOL a falha pode ter sido humana.
    Eu já trabalhei na Telefonica e acredito que isto pode ter acontecido, ou mesmo não sendo esta causa vai um alerta.
    Na epoca que trabalhava lá, varias operações tinham login e senha de Tacacs, até ai tudo bem, mas imagine estas senhas sendo 1 login e senha por “operação”, agora multiplique isto pelo numero de operações que podem ter estas senhas e os frequentes cortes de funcionarios e terceiros.
    Se não foi esta a causa vai o alerta.

    Um abraço

    0

    0
  42. Leandro Nogueira

    Telles, (Ref: post 19)

    No speedy de 2mb que tenho em casa, além da lentidão que estava ocorrendo e bastante perda de pacotes os DNS da Telefonica não estavam respondendo.
    Eu configurei 4 sites com seus respectivos ips no arquivos hosts do Windows e fiquei usando a “minha internet” pq para os demais nada funcionava.

    Att,
    Leandro Nogueira

    0

    0
  43. Marcos Pitanga

    Quando for assim use um DNS padrão para referência de testes. O DNS 4.2.2.2

    []’s

    0

    0
  44. thiagocella

    Marcos Pitanga , aqui em casa depois que coloquei o DNS 208.67.222.222, ta abrindo bem mais rapido sites , que com o DNS padrao da Telefonica, pergunta qual seria o motivo??

    0

    0
  45. Lima

    Desejo sucesso a toda equipe de backbone da Telefonica como a de outras operadoras.

    Todos nós sabemos que não é nada fácil ser profissional de TI/Telecom no Brasil.

    Parabens a todos e meu profundo respeito a profissão a aos meus colegas.

    0

    0
  46. Marcos Pitanga

    Suposições:

    Uma vez perguntando ao DNS deles você utiliza a estrutura da telefônica para que ele faça o serviço de pesquisa recursiva ou iterativa (creio que deva usar a segunda por questões de segurança). E devido a estrutura de roteamento deles não está 100% a resposta do DNS pode se perder (lembre-se que usa UDP, nada garante que irás receber a resposta).

    Outra suposição, servidor sobrecarregado.

    Experimente fazer consultas ao servidor de DNS da telefônica via nsloookup, dig ou host.

    Também desejo sucesso a equipe da Telefônica para solucionarem o problema em definitivo, mesmo com todos os problemas que sabemos que existem nas “entrelinhas”.

    Somente somos lembrados quando acontece algo desta proporção.

    []’s

    0

    0
  47. Lima

    Não somos os únicos –

    Depois de São Paulo, Maranhão e Pará também ficam sem internet

    http://computerworld.uol.com.br/telecomunicacoes/2008/07/07/depois-de-sp-maranhao-e-para-tambem-ficam-sem-internet/

    0

    0
  48. jair.rocha

    Placa de rede gerou pane da Telefônica
    SÃO PAULO – Placa de rede, instalada dentro de um roteador, abriu seqüência de erros que derrubou Telefônica, diz CPqD.
    Pesquisadores do CPqD, em Campinas, concluíram relatório sobre as causas que levaram a infra-estrutura de internet da Telefônica entrar em colapso por 36 horas entre os dias dois e três de julho. Matéria na integra no link

    http://info.abril.com.br/aberto/infonews/072008/25072008-29.shl

    0

    0
  49. Cledir Justo

    placa de rede kkkkkkkkk =]

    0

    0
  50. mjundiai

    Marco,

    Parabéns pelo post. Com essas informações muito valiosas para nós que somos da área de TI conseguimos nos antecipar aos acontecimentos e informar nossos usuários.

    Marcos Inácio Nunes
    Analista de TI
    Fundação Getúlio Vargas

    0

    0

Deixe uma resposta