Author Archive
[Baso] Baso Tidak Dapat Diakses
[17:00] Panopta melaporkan Baso down, SSH tidak dapat diakses [17:03] Menghubungi Data Center langsung. Sedang ditunggu kepastian apa yang terjadi. [17:09] Server UP kembali 🙂
Read More →[Udon] Network Down
[21:00] Panopta melaporkan Udon down, dan setelah diperiksa network ke DC juga down [21:14] SSH sudah bisa diakses, akan segera dilakukan pemeriksaan [21:26] Server sudah dipastikan up 🙂 . Penyebab matinya adalah karena Partial Power Outage pada fasilitas di Los Angeles. Total Downtime : 25 Menit 14 Detik.
Read More →[Udon] High I/O
[10:00] High I/O load di server Udon , di duga karena proses backup bulanan yang belum selesai [12:00] Proses backup telah di hentikan namun I/O masih tinggi, sedang dicari penyebab utamanya. Efek ke klien adalah website yang menjadi sangat lambat untuk dibuka. [12:30] Load secara bertahap turun, email client yang ter-queue akibat load yang tinggi […]
Read More →[Baso] Wide Failure di Data Center
[21:11] Panopta melaporkan Baso down [21:12] Akses ke Data Center juga gagal , diduga terjadi failure di Data Center, sedang dicoba untuk mengkomunikasikan dengan DC. [21:15] Ada terjadi problem pada upstream di Data Center dan sedang di periksa oleh teknisi di Data Center [21:19] Solved, Baso kembali dapat diakses. Total Downtime 7 Menit 34 Detik
Read More →[Baso] MySQL Tidak Stabil
[16:00] Mangkuk Merah mendapatkan laporan terkadang koneksi MySQL tidak stabil dan terkadang tidak mau konek [17:00] MySQL kembali tidak stabil dan menyatakan /tmp penuh padahal kondisi /tmp sudah dibersihkan dengan menjaga soket MySQL, dicurigai permasalahan ada pada hdd. [18:00] MySQL berjalan normal kembali secara tiba-tiba [18:12] Setelah melihat kondisi, diputuskan untuk melakukan reboot server yang sudah […]
Read More →[Sushi] High Load Report
[15:54] Server melaporkan High Load [15:55] Seluruh proses Apache, Nginx , PHP dan SQL di matikan lalu di restart [15:57] Server kembali normal. Total Downtime : 1 menit 14 detik [17:30] Sushi kembali berulah dan kali ini harus di reboot. Load mendadak naik menjadi 29 dari nilai normal 2-4 [18:03] Currently fsck-ing [18:31] Fsck masih […]
Read More →[Sushi] Down High CPU
[12:01] Sushi down dengan laporan High CPU Usage, sedang dicari permasalahannya. Kemungkinan terbesar serangan lagi. [12:14] Diputuskan untuk dilakukan Remote Reboot karena SSH terkonek namun sangat lambat dikarenakan load yang sangat tinggi [12:20] Running fsck [13:31] fsck berlangsung lebih lama dari yang diharapkan, yang ingin akunnya dipindahkan ke server udon harap segera hubungi support [16:17] […]
Read More →[Baso] Down Karena High CPU
[22:05] Laporan monitoring memberitahukan proses CPU sangat tinggi [22:06] Restart Apache, Nginx dan MySQL dilakukan secara bertahap, namun karena akses untuk restart sangat lambat dikarenakan CPU usage yang tinggi, membutuhkan waktu yang lama [22:10] Proses restart selesai, server UP kembali. Sedang dicari penyebab CPU yang mendadak tinggi dan diketemukan swapping yang cukup besar.
Read More →[Sushi] RFO (Reason For Outage) Untuk Outage 23 November 2011
Telah terjadi DOS attempt pada salah satu akun yang dihosting di Mangkuk Merah pada pagi hari pukul 09:13 WIB. Langkah preventif sudah dilakukan dengan suspend sementara akun tersebut dan null-route beberapa IP yang memiliki koneksi lebih dari 200.
Read More →[Sushi] Down via DOS Attempt
[09:13] Panopta melaporkan adanya downtime [09:20] Server masih bisa di ping namun sangat lambat saat diakses. Dilakukan netstat untuk memeriksa koneksi yang tersambung dan diketemukan koneksi abnormal dari beberapa IP yang menyerang satu akun yang dihosting di Mangkuk Merah. Beberapa contoh koneksi 5409 173.2xx.xxx.xxx 2265 173.2xx.xxx.xxx 2233 173.2xx.xxx.xxx 1537 173.2xx.xxx.xxx 1506 173.2xx.xxx.xxx [09:40] IP yang […]
Read More →