No Gravatar

O backbone da Telefónica está com problemas, e como resultado, acessos corporativos e domésticos (Speedy) estão sendo afetados desde ontem à tarde. A coisa é séria, BEM séria. Eis que temos dois colaboradores diretamente envolvidos na resolução deste impasse: O Rodrigo e o Adeilson! Conversei há pouco com o Rodrigo Cesine, que faz parte da “força-tarefa” designada para resolver o problema, e deu para perceber que a coisa é bastante séria. Bom trabalho e boa sorte my friend!!!

Depois, se puder, escreva um pouco sobre o assunto! Tenho certeza que vai ter muita gente interessada em ler :-) !

Da Folha de São Paulo:

O Estado de São Paulo enfrenta problemas de acesso à internet nesta quinta-feira (3), com lentidão ou indisponibilidade completa na conexão. A Folha Online apurou que a rede da Telefônica apresenta problemas, gerando reflexos na banda larga, conexões dedicadas (de alta velocidade, utilizadas principalmente por empresas) e outros tipos de acesso.

A falha começou a ser sentida na quarta-feira (2) e se intensificou durante a madrugada de hoje. Com isso, a conexão de grande parte dos internautas e das empresas que usam a rede da Telefônica no Estado está instável. Especialistas ouvidos pela reportagem classificaram a pane como “grave” e sem previsão de retorno.

A instabilidade no serviço atinge não só a rede banda larga do provedor Speedy, mas também serviços de conexão dedicada utilizados principalmente por empresas e outras redes. Procurada pela reportagem, a Telefônica não se pronunciou até a publicação desta reportagem.

A pane na rede da Telefônica prejudica inclusive os registros da polícia de São Paulo desde o começo da madrugada, de acordo com a Secretaria da Segurança e a Prodesp (Companhia de Processamento de Dados do Estado de São Paulo).

O problema atinge metade dos 12 mil pontos de acesso mantidos pela Intragov, a rede de comunicação utilizada pelo governo do Estado de São Paulo. Ao menos a cidade de São Paulo e Campinas (98 km de SP) foram afetadas.

Segundo a Prodesp, a Telefônica é fornecedora da tecnologia empregada no data-center do governo do Estado mantido em Taboão da Serra (Grande São Paulo).

Devido ao problema, parte dos serviços do Poupatempo, como emissão de CNHs (Carteira Nacional de Habilitação) e documento de identidade (RG) também estão paralisados.

A Prodesp informou que os problemas tiveram início por volta das 12h de quarta-feira (2), e a Telefônica deu o prazo até as 2h desta quinta-feira (3) para solucionar o problema, o que não ocorreu. Um novo prazo foi dado –às 6h de hoje–, entretanto, a pane não foi solucionada.


Leia também:

51 Respostas para “Falha em rede atinge conexão à internet no Estado de SP”
  1. petersonNo Gravatar diz:

    O problema ocorre no backbone SDH em sp. O equipamento afetado está sem gerência remota e também apresentou falha na proteção.

  2. nelsonjrNo Gravatar diz:

    Acho uma ideia legal para nós leitores do forum que o pessoal que trabalha diretamente na area de redes de operadoras ou que prestem serviços na area, contem alguns CASES sobre alguns acontecimentos, não sei os outros mais eu gosto muito de ver tais cases onde problemas grande são resolvidos e como são resolvidos….isso gera uma visão melhor e maior as pessoas que não são da area ou até que são mais atuam em setores com criticidade um pouco menor.

  3. diogocampregherNo Gravatar diz:

    E eu que fiquei maluco quando caiu um link de fibra aqui na empresa!!! Imaginem a responsabilidade dos nossos colegas!!! Depois se possível nos contem mais detalhadamente o acontecido.
    Muita calma nessa hora.

  4. mvdtrinoNo Gravatar diz:

    Boa sorte aos nossos colaboradores envolvidos.Por mais preocupante que seja esse problema, serão dele, colhidas boas experiencias, que com certeza serão repassadas ao nosso blog.hehehe. Deus abençõe

  5. fabio pereiraNo Gravatar diz:

    Pessoal,

    segundo meu amigo de trabalho Erivelton Oliveira Paes, ex Telefonica, atual CTBC, não eh problema no backbone SDH, se assim fosse estaria afetando muito mais serviços, até mesmo os de telefonia fixa, o real problema é de roteamento, e até o momento não foi identificada a solução, tambem não ah muitos detalhes da causa.

  6. AndersonNo Gravatar diz:

    Recebi e-mails de alguns amigos de trabalho, de filiais da empresa lá do sul do Brasil, e parece que o outage está atingindo eles também.

  7. TogukoNo Gravatar diz:

    Gostaria realmente de saber o que hove para que este problema acontecesse. a verdade é claro

    Abraços

  8. nelsonjrNo Gravatar diz:

    Concordo com vc Toguko… ja vi em 3 jornais de audiencia na TV.
    Me parece q eles tem até amanha atarde para solucionar ou rola multa de 3mi +.

  9. Marco FilippettiNo Gravatar diz:

    O problema em SP foi resolvido (na cidade). O Rodrigo me ligou e passou que isolaram o problema e já estão trabalhando para soluciona-lo. Ou seja, o prazo será cumprido, ao que parece…! Eita problemão!!!!

  10. tjlwxNo Gravatar diz:

    Aquí no Guarujá o Speedy Business voutou..

  11. thiagocellaNo Gravatar diz:

    Aqui em São Bernardo do Campo - São Paulo já voltou tbm.

  12. Fábio LimaNo Gravatar diz:

    A Telefônica informou ter normalizado o funcionamento de seus serviços de transmissão de dados na Grande São Paulo, nas cidades do Vale do Paraíba e do Litoral Paulista. http://tecnologia.terra.com.br/interna/0,,OI2988529-EI4802,00.html

  13. Leonardo GomesNo Gravatar diz:

    Vamos torcer para os colaboradores e sua equipe resolvam o problema a tempo.
    Mas que esse problema está estranho está.

  14. nelsonjrNo Gravatar diz:

    To na espectativa de saber qual é esse problema.
    []’s

  15. nelsonjrNo Gravatar diz:

    Segue mais um link.
    http://info.abril.com.br/aberto/infonews/072008/03072008-17.shl

  16. petersonNo Gravatar diz:

    O início da afetação foi ontem devido a queda equipamento do backbone SDH. Como hoje não estou na empresa hoje, não sei dizer mais aconteceu. Pode ser que durante a comutação do trecho afetado ontem tenha acontecido um problema de roteamento.

  17. Bruno N. PaiucaNo Gravatar diz:

    Ficamos no aguardo de uma posição da Telefonica.

  18. Silvio VeiraNo Gravatar diz:

    Srs conforme foi comentado pelo Fabio Ferreira que recebeu a informação do Erivelton ( meu grande amigo e ex colega de Telefônica), é impossivel a causa ter sido no Backbone do SDH somente, pois afetaria as linhas telefonicas e não somente os acessos Banda larga. Tmb concordo com o Erivelton que o problema é roteamento e não é devido a falha de um único equipamento pois se assim fosse seria muito simples isolar esse ponto e restabelecer o serviço. É muito mais sério dq isso, e não ficarei surpreso se a informação que for vinculado como solução deste caso não for a verdadeira… prejuizos grandes…. sinceridades nessas horas causam prejuizos ainda maiores.

  19. TellesNo Gravatar diz:

    Tem gente de lá de dentro falando que é pau no DNS, mas vai saber, é muito difícil de aparecer a verdade quando acontece evento desse porte.

  20. edsontadeuNo Gravatar diz:

    Eu já ouvi um cara comentar que foi invasão. Parece que a cisco divulgou uma falha no protocolo MPLS recentemente e a invasão se deu por conta dessa mesma falha… mas, o verdadeiro problema não deve chegar a público :-) [] ’s

  21. Thiago BrecciNo Gravatar diz:

    No ano passado, quando eu ainda trabalhava na Telefonica Empresas, deu um problema muito parecido. Porém foi solucionado dentro de 24hs e também parou o acesso do estado inteiro. Nesta ocasião, foi problema no roteamento dos Core’s. Pode ser boato, mas fui informado que na ocasião era um roteador que subiu com IS-IS e assumiu o BGP. ou algo em torno disso… porém, como não conheço de IS-IS AINDA, prefiro não dar certeza alguma.

  22. dsguedesNo Gravatar diz:

    E a corda arrebenta do lado mais fraco…

    Quando o presidente da empresa é forçado a iniciar o Plano de Comunicações do Gerenciamento de Crise, é porque a coisa está “preta”. Com certeza “cabeças vão rolar”, principalmente por afetar inúmeros contratos governamentais com SLA apertado e rígidas multas (Intragov, por exemplo).

    Existe toda uma esfera política envolvida, e infelizmente toda a abrangência da área técnica só é valorizada quando atinge diretamente o core business, como esse caso. A bomba estourou na mão da equipe técnica nesse momento, entretanto, eu me pergunto se o problema não começou antes dos bytes.

    Contratos com fornecedores mal administrados, falta de treinamento e desenvolvimento de equipe interna, gerenciamento ineficaz da alta administração, inadmissão do teste de Continuidade de Operações, inúmeras terceirizações, redução de custo e carga de trabalho excessiva são apenas alguns dos aspectos que tangem o início desses mega-problemas.

    Eis a pergunta que me vêm a mente:

    - O problema é somente de ordem técnica? A responsabilidade pela crise, e o ônus causado cabe a equipe técnica?

    Att.,

    Diogo Guedes

  23. AgeuNo Gravatar diz:

    Depois que a poeira baixar eu conto o que realmente ocorreu

  24. AgeuNo Gravatar diz:

    Concordo em número e grau com o Diogo Guedes.

  25. Thiago BrecciNo Gravatar diz:

    DsGuedes,

    se tratando da telefônica ??? Com certeza foi essas as razões.

    Quando trabalhava lá, lembro-me muuuito bem de um Core da Vila Mariana, em SP, estar funcionando “normalmente” com 93% de sua capacidade no processamento. Sinceramente, isso em um roteador eu acho um pouquinho arriscado. ainda sendo na nuvem com diversas interfaces,,,,

  26. Marco FilippettiNo Gravatar diz:

    Dificilmente cabeças rolam quando um problema desta magnitude ocorre. Pelo simples motivo que, se rolar, quem sai dá com a lingua nos dentes, e para a Telefonica isso não é interessante.

    É o princípio básico da contenção de crise.

    Marco.

    PS: Cuidado com os comments do tipo “Meu amigo disse que…” “Ouvi dizer que…”, pois é tudo especulação. Se alguém, de fato, participou do problema DE DENTRO e quiser dizer alguma coisa (as vezes isso não é possível), que o faça, mas chega de especulações.

    Abs!

  27. Fabio A de AmorimNo Gravatar diz:

    Pessoal,

    Notícia nova: Folha Online: “Telefônica diz que equipamentos de roteamento geraram pane”

    http://www1.folha.uol.com.br/folha/informatica/ult124u419300.shtml

    Abraços,
    Fábio A. de Amorim

  28. cebolarkNo Gravatar diz:

    Gente,

    Fico pensando, se em SP a coisa ficou assim, todo esse tempo sem net, imagina se ocorrer algo parecido aqui, em Rondonia. My God.

  29. Fabio A de AmorimNo Gravatar diz:

    hahahahahahaha! Boa cebolark!!! ;-)

  30. Fabio A de AmorimNo Gravatar diz:

    Mais duas notícias:

    - Ministro das Comunicações admite que o sistema da Telefônica é “vulnerável” : http://www1.folha.uol.com.br/folha/informatica/ult124u419257.shtml

    - Presidente da Anatel diz que Telefônica pode ser multada por pane : http://www1.folha.uol.com.br/folha/informatica/ult124u419254.shtml

    Abraços,
    Fábio A. de Amorim

  31. henrique.trevisanNo Gravatar diz:

    ahahahahah
    aliás… muito boa!

  32. fabricio.ldcNo Gravatar diz:

    24hrs sem internet “Na Sibéria não tem nada disso”
    kkk

  33. SOUEUKLSNo Gravatar diz:

    Marco,
    vc foi um pouco duro com a galera… Umas piadinhas de vez em quando, descontraí um pouco o stress.
    A Telefônica tem muita grana paras as multas mixurucas que serão aplicadas..
    Já se acumulou muita grana, não só de lucro, más com a “quinterizações” que Ela faz por aí..

  34. Marco FilippettiNo Gravatar diz:

    Muito duro??? rsrsrsrs como assim??? ahah o que eu fiz, diacho?

  35. thiagocellaNo Gravatar diz:

    Pessoal , nesse exato momento dia 04/07/08 às 16:30 , meu acesso à internet voltou a apresentar problemas.

    Tentei configurar um dns alternativo e a internet voltou ao normal, sem esse DNS só abria o site do Terra, mas bem lento.
    Inclusive só estou conseguindo postar agora depois de configurar o DNS alternativo que é :

    208.67.222.222

  36. Rodrigo C. SoaveNo Gravatar diz:

    Bom pessoal, eu e o Adeilson como trabalhamos diretamente e massivamente no problema desde quarta-feira iremos nos posicionar a respeito sobre o problema quando os fatos vierem a publico de forma oficial e não de especulações.

    Temos que tomar cuidado com: um amigo meu disse, alguem me falou, por que isso nessas horas é normal numa situação dessas devido a famosa “rádio peão”, uma vez que todos os funcionários da Telefonica sejam elas técnicas ou não escutam alguma coisa e acabam falando do jeito que entenderam, tipo telefone sem fio.

    O que posso afirmar é que o problema gerado foi uma situação muito rara e complexa mesmo, uma vez que o backbone da Telefonica “rodam” equipamentos de varios vendors (Cisco, Juniper, Huawei, Alcatel, etc) e com diversos meios de transmissão (Metroethernet, ATM, POS, FR, ADSL, etc) e por ser muito grande, complexa e multivendor e multi plataforma a demora na resoluçaõ do problema, mesmo com a grande gama de ferramentas de gerencia e troubleshooting que temos.

    Posso adiantar ainda que não foi falha de bug nem tampouco invasão, como comentam.

    Uma falha realmente ocorreu, mas o que posso adiantar que essa falha ocorreu devido ao internetworking desses muitos elementos que falam entre si através de protocolos L2 e L3 de transporte.

    Posso dizer ainda que esse problema só poderia acontecer em um ambiente desse tamanho uma vez que cada fabricante pode implementar de forma diferente um protocolo mesmo ele sendo RFC fazendo com que as vezes o comportamento da rede fique estranho e as vezes devastador como o que aconteceu.

    O que a Telefonica pode tirar disso são as lições aprendidas e a experiência de ter presenciado um problema dessa magnitude. Vulnerabilidades existem, mas iremos trabalhar para mitigar isso e fazer com que não ocorra novamente.

  37. Marco FilippettiNo Gravatar diz:

    Boa Rodrigão!!!

  38. cebolarkNo Gravatar diz:

    Fabio e Henrique..

    Conseguiram imaginar? rsrsrs

  39. rafael rachid ferreiraNo Gravatar diz:

    Rodrigo,
    Boa noite,
    Sou da época da Telesp e conheço bem estes problemas, já participei muito desse tipo de ocorrência.
    Porém gostaria de saber exatamente o que aconteceu.
    Aproveito para parabenizar a equipe técnica de redes da telefônica que participaram da ocorrência e todos os envolvidos no problema

    Abraço,
    Rafael Rachid Ferreira.
    Analista de infra-estrutura de telecomunicações de STH e CCNA .

  40. Marcos PitangaNo Gravatar diz:

    Isso me lembra um problema que peguei de implementações diferentes do protocolo SCTP entre duas centrais digitais conversando com um software de tratamento de CDR’s… Foi complicado… Muito Wiresharck nesta hora e comparar como cada fabricante implementava o protocolo e como o software em “C” na outra extremidade tratava o protocolo.

    Esses desafios são super-interessantes. Mas é uma pressão descomunal.

  41. TogukoNo Gravatar diz:

    Boa mensagem do Rodrigo, acho que em breve a telefonica vai divulgar alguma notícia sobre o que causou a falha, mas deve ser uma notícia geral para o povo, espero que o Rodrigo e outras pessoas que trabalham na telefonica possa nos dar uma notícia técnica sobre esse assunto, seria muito bom mesmo.

    Abraços, Rafael Venancio

  42. lgchiarettoNo Gravatar diz:

    mais uma …

    http://tecnologia.uol.com.br/ultnot/2008/07/04/ult4213u482.jhtm

  43. Douglas FalsarellaNo Gravatar diz:

    Ainda não sei o que realmente aconteceu, mas conforme Carlos Valente ( Presidente da Telefonica) informou em entrevista a UOL a falha pode ter sido humana.
    Eu já trabalhei na Telefonica e acredito que isto pode ter acontecido, ou mesmo não sendo esta causa vai um alerta.
    Na epoca que trabalhava lá, varias operações tinham login e senha de Tacacs, até ai tudo bem, mas imagine estas senhas sendo 1 login e senha por “operação”, agora multiplique isto pelo numero de operações que podem ter estas senhas e os frequentes cortes de funcionarios e terceiros.
    Se não foi esta a causa vai o alerta.

    Um abraço

  44. Leandro NogueiraNo Gravatar diz:

    Telles, (Ref: post 19)

    No speedy de 2mb que tenho em casa, além da lentidão que estava ocorrendo e bastante perda de pacotes os DNS da Telefonica não estavam respondendo.
    Eu configurei 4 sites com seus respectivos ips no arquivos hosts do Windows e fiquei usando a “minha internet” pq para os demais nada funcionava.

    Att,
    Leandro Nogueira

  45. Marcos PitangaNo Gravatar diz:

    Quando for assim use um DNS padrão para referência de testes. O DNS 4.2.2.2

    []’s

  46. thiagocellaNo Gravatar diz:

    Marcos Pitanga , aqui em casa depois que coloquei o DNS 208.67.222.222, ta abrindo bem mais rapido sites , que com o DNS padrao da Telefonica, pergunta qual seria o motivo??

  47. AgeuNo Gravatar diz:

    Desejo sucesso a toda equipe de backbone da Telefonica como a de outras operadoras.

    Todos nós sabemos que não é nada fácil ser profissional de TI/Telecom no Brasil.

    Parabens a todos e meu profundo respeito a profissão a aos meus colegas.

  48. Marcos PitangaNo Gravatar diz:

    Suposições:

    Uma vez perguntando ao DNS deles você utiliza a estrutura da telefônica para que ele faça o serviço de pesquisa recursiva ou iterativa (creio que deva usar a segunda por questões de segurança). E devido a estrutura de roteamento deles não está 100% a resposta do DNS pode se perder (lembre-se que usa UDP, nada garante que irás receber a resposta).

    Outra suposição, servidor sobrecarregado.

    Experimente fazer consultas ao servidor de DNS da telefônica via nsloookup, dig ou host.

    Também desejo sucesso a equipe da Telefônica para solucionarem o problema em definitivo, mesmo com todos os problemas que sabemos que existem nas “entrelinhas”.

    Somente somos lembrados quando acontece algo desta proporção.

    []’s

  49. AgeuNo Gravatar diz:

    Não somos os únicos -

    Depois de São Paulo, Maranhão e Pará também ficam sem internet

    http://computerworld.uol.com.br/telecomunicacoes/2008/07/07/depois-de-sp-maranhao-e-para-tambem-ficam-sem-internet/

  50. jair.rochaNo Gravatar diz:

    Placa de rede gerou pane da Telefônica
    SÃO PAULO – Placa de rede, instalada dentro de um roteador, abriu seqüência de erros que derrubou Telefônica, diz CPqD.
    Pesquisadores do CPqD, em Campinas, concluíram relatório sobre as causas que levaram a infra-estrutura de internet da Telefônica entrar em colapso por 36 horas entre os dias dois e três de julho. Matéria na integra no link

    http://info.abril.com.br/aberto/infonews/072008/25072008-29.shl

  51. Cledir JustoNo Gravatar diz:

    placa de rede kkkkkkkkk =]

Deixe um Comentário

Você deve estar logado para postar um comentário. Login »



Chat plugin by BoWoB Chat for Wordpress