Cando o desastre ataca!

en chamas

As últimas 48 horas non foron divertidas. A tecnoloxía é algo fantástico, pero nunca é perfecta. Cando falla, non estou seguro de que poida haber tanta preparación ... pero tes que reaccionar.

Pode que te decatas de que o noso sitio estaba a ser moi lento nas últimas dúas semanas. Foi estraño tendo en conta que o temos nun estupendo paquete de hospedaxe combinado cun servidor de bases de datos rede de entrega de contidos. Como tiñamos moito espazo, tamén aloxamos outros sitios alí ... e ese foi o noso erro.

Un dos nosos proxectos é un ferramenta de seguimento de redes sociais que se conecta a Twitter e Facebook, recompilando datos de miles de equipos no mercado deportivo. Unha vez ao día reúne información de seguidores e seguidores, recolléndoa na base de datos. Estivemos desenvolvendo moito o proxecto e recentemente notamos que algunhas das estatísticas estaban equivocadas. O noso cliente, Pat Coyle, foi paciente connosco xa que solucionamos o problema.

Daquela, desbotouse todo. Parece que o proceso para recompilar a información comezou a executarse en poucos minutos en vez de unha vez ao día. A nosa base de datos creceu a máis de 1G aos poucos días, diminuíndo o noso servidor e ocupando toneladas de espazo nel. A outra noite estiven a ver como cada sitio que tiñamos na conta comezaba a baixar un por un. Uf.

Xa estabamos a facer plans para trasladar a Martech WPEngine para poñelo nun ambiente dedicado con copias de seguridade, entrega de contido integrada e un conxunto rápido de servidores. Temos un par de clientes máis e quedamos moi contentos tanto do servizo como do seu incrible apoio. Non é que Mediatemple fose malo, é simplemente que este ambiente foi creado para publicar blogs como o noso que conseguen unha chea de tráfico. No medio da noite, escribín aos rapaces de WPEngine e xa me levaron pola mañá. Grazas rapaces!

A continuación, comezamos a ver como solucionar a base de datos. De feito, detivo o servidor de bases de datos e corrompeu a táboa máis grande (a que contén TODOS os datos centrais!). Dado que o servidor estaba cheo, non puidemos reparar ... non puidemos acceder aos ficheiros, non puidemos facer unha copia de seguridade ... quedamos atrapados. A xente de MediaTemple saltou e reparou a mesa. Despois puidemos facer unha copia de seguridade completa e comezar a recuperar os outros sitios.

O paso a WPEngine non estivo exento de dor. Dado que non puidemos acceder á nosa base de datos, tivemos que facer unha instantánea recente da base de datos ... que por algún motivo perdeu toda a nosa alineación de categorías no proceso. Temos copias de seguridade de WordPress fóra do sitiotamén, pero a nosa base de datos é tan grande que reunir todos os segmentos de copia de seguridade ía levar moito tempo.

Entón, restauramos os datos e estivemos enraizando máis de 2,500 publicacións e recategorizándoas coidadosamente. Estou seguro de que imos ter un pouco de éxito no SEO porque iso cambiou as rutas dos URL ... así que tivemos un éxito aínda maior e cambiamos a nosa estrutura de enlace permanente (sen a categoría). É algo que tiven que facer durante un tempo, polo que agora era un momento mellor que despois.

Desbotamos o noso vello tema. Era moi pesado en gráficos (sen sprites CSS) e non era demasiado amigable para cambiar o tamaño. Decidimos só modificar altamente o Vinte e once temas iso é estándar con WordPress por agora. Está preparado para HTML5 e ten unha chea de funcións de deseño sensibles que foron boas para aproveitar.

Mentres tanto, Jenn mantivo o forte en Highbridge - facendo malabares con algúns proxectos e eliminándoos ao grande. Stephen tirou de todo o día (xa traballa noites!), Bo amigo Adam Small patou e axudou, MediaTemple sacouno do parque e WPEngine tamén o axudou. Grazas a todos ... volvemos aos blogs de novo!

Agora toca durmir un pouco :). Entón arranxaremos os nosos temas para iPad e móbiles.

4 Comentarios

  1. 1

    Doug,

    I’m very sorry to hear you have had these problems. This is where an IT professional, such as myself, could have and SHOULD have been monitoring your systems to prevent such a situation.  I’m sure you are getting many such comments and posts, but the situation is simple. Proper maintenance, growth planing and forecasting should have prepared your sites and your database for this level of traffic.  I would be interested in speaking with you, regarding this situation, and steps that can be taken to prevent in the future.  We have spoken in the past, you know me on your twitter stream as @indyscompugeek.

    Daniel, HeadGeek of Indy’s Computer Geek

  2. 3

    Doug –  UGH! is right. I was on this site about a week or so ago reading a blog and I did notice how slow it was. I seriously contemplated emailing you and saying thus, but I thought who am I to tell ‘The Man” that his site was “sluggish.” Now I know why! So, glad you (and your posse) were able to get it back up and functional. Have you ever considered integrating the StudioPress Genesis Framework – http://www.studiopress.com – I use if for my site and all of my client sites. Very solid piece of software – Love it!

    • 4

      Hi Greg! I’ve heard great things about the Genesis framework. We haven’t used it yet but I think I may get out WordPress guru, Stephen, to build a theme with it. This theme started with Twenty Eleven but it’s been totally customized and optimized. So far, it seems to be holding up well!

¿Que pensas?

Este sitio usa Akismet para reducir o spam. Aprende a procesar os teus datos de comentarios.