マーベラス様
サービスを止めない独自のシステム設計
サービスを止めない、独自のシステム設計
黒木
ハートビーツさんにサーバー管理をお願いしたのは、現在はサービスを終了している『ブラウザMC☆あくしず-鋼鉄の戦姫-』が最初だったと聞いています。当時は海外のクラウドサービス事業者を使っていたのですが障害が多く、サーバー運用や障害の一次対応も社内で行っていました。そこで人的コストを下げる観点から、MSPサービスのあるクラウドサービス事業者を探し、ハートビーツさんにお願いすることになった次第です。『ブラウザ MC☆あくしず-鋼鉄の戦姫-』での対応に、技術力があると感じていたこともあって、私が担当している『ブラウザ三国志』では、現在のサーバーへの移設時からお世話になっています。
五味
導入当時の印象で言いますと、稼働基盤のフリービットクラウドさんとの連携が非常にスムーズで助かりました。こちらのマンパワーを割くことなく、直接コミュニケーションを取り合ってより良いアウトプットをしていただいて。さらに、障害も劇的に減りましたね。
ハートビーツ
弊社側でも24時間サービスの監視をして、問題があれば迅速な対応を取るよう、スピードには特に気を配っています。
五味
実は当時の『ブラウザ三国志』は、かなりの少人数でサーバーを運用していまして、どうしても仕事が属人的になってしまい、トラブルがあっても社内で即座に対応できない場合があったんです。そんな状況だったのですが、ハートビーツさんに24時間有人で監視してもらえるようになって、かなり楽になりました。
馬場
『ブラウザ三国志』は人気ゲームということもあり、ユーザーの数が膨大なんですよね。一つのサーバーが落ちてもサービスは継続できるよう、複数マシンを用意し分散構成を組んでいます。MHAやLVSを活用し、一番クリティカルな箇所でも数分とかからず復旧するよう、システムの冗長化に力を入れた構成にしています
黒木
この運用方法ですと、障害復旧後に待機系から稼働系へと、本来の構成に戻すフェイルバックが不要になった、という点が大変ありがたかったです。メンテナンス中はサービスをすべて止めないといけないので、いつも「いつやるべきか」と悩みがちだったんですが、その悩みも小さくなりました。
ハートビーツスタッフ
いま『ブラウザ三国志』で提供しているサービスは、フェイルオーバー後の対応としてメンテナンスの際に予備機を追加するというシステムなので、サービスを止める必要がないんですよね。正常な稼働状態に戻すことも含め、いかにダウンタイムを極力少なくするか、ということを意識しています。
24時間絶え間ない「陣取り合戦」の面白さをバックアップ
五味
『ブラウザ三国志』が他のゲームと違うのは、ほぼ24時間休みなくユーザーがゲームに参加して稼働していることなんです。キャラクターはかわいいんですがとてもルールが難しいゲームで、「眠っているあいだに陣地が取られて負ける」こともしばしばあります。そんなシビアなゲーム性のせいか、アクセスのピークタイムも他のサービスに比べてとても長く、19時〜翌朝2時ごろまでです。社内のインフラ担当にも「なんで夜中の2時になっても負荷が落ちないの?」と言われるほどです(笑)。
黒木
こんなに、他のサービスと比べて異質なアクセスパターンでも、ハートビーツさんには、いつも柔軟に対応いただいていますね。昨年、予期せぬ不具合が生じてしまい7〜8時間ほど障害が起きたのですが、その後の対応をハートビーツさんにしっかりやっていただいたことが印象深いです。
ハートビーツスタッフ
あのときは、なかなか前例がないケースだったので、まずはしっかりと調査を行いました。結局MySQLのソースコードまで確認し、MySQLのバグだと突き止めました。発生状況としては一定以上のデータがたまってしまうと、システムが止まってしまうというエラーだと判明し、原因も突き止められたので、事前に一定値に達したら、他のサーバーへデータを移す対策を施しました。
黒木
弊社のほうでもかなり調査はしたのですが、スピードではハートビーツさんに勝てませんでした(笑)。
ハートビーツスタッフ
そうだったんですか!?(笑)
黒木
最終的に根本原因を突き止めてくれたのは、ハートビーツさんでしたね。本当に助かりました。
馬場
問題が発生すれば、そこで対応するのが仕事ですから。その後は、再発防止のスキームも作成し、同じことを起こさないように対応させていただきましたね。弊社としても難しい案件でしたが、いい勉強になったことを覚えています。
ユーザー視点を共有して、見守ってくれるMSP
黒木
リリースから長い時間を経過しているオンラインゲームはユーザー数を増やすというフェーズは終わり、いまあるゲームをいかに安定して運用していくか、そのためにコストを下げ効率化させていくことが課題となっています。「コストを下げ」という話をハートビーツさんの前で言うのは気が引けますが(笑)。
五味
期間限定イベントなど、アクセス増加が予想できるタイミングを事前にハートビーツさんにも共有して、それに応じた対策をとってもらえるので、安定運用という点からは非常に助かっています。ゲームのイベントスケジュールの観点からサーバー管理を見てくれる会社さんって他にいなくて。
ハートビーツスタッフ
社内のスタッフも『ブラウザ三国志』のユーザーは多いですよ。やはり、一ユーザーとして実際にどういうゲームか分かっていると、アクセスの性質などが理解できますね。「あ、ここ、負荷がかかりそうだな」って思いながら、私もプレイしてます(笑)。それに、ゲーム内の用語が分かるとコミュニケーションもスムーズですよね。
黒木
また、コスト面でも非常に助かっていますが、むしろ「フルマネージドの内容に対してこの価格で良いの!?」という気持ちです。実は他社さんの見積もりと比べたら、ハートビーツさんはその半額以下でしたね。この実績を生かして他の案件を安心してお願いできる技術力があると思います。
馬場
ありがとうございます。かなり緊密に連携を取らせていただき、毎週定例のミーティング時間を設けて訪問して、情報共有をしていますが、言われたことだけをやるMSPにはならないよう心がけています。常にコミュニケーションを取り、ご相談いただいた内容をもとに、こちらからも積極的に提案を行っています。
五味
「来週、幻影武将イベントがありますから」とかいつも話してますよね(笑)。
ハートビーツスタッフ
「幻影武将イベントですか! じゃあ瞬発的なアクセス増があるのでWebサーバーの負荷対策したほうがいいですね」とかになりますね(笑)。
最後に一言
黒木誠士(くろきまさし)
五味一郎(ごみいちろう)
マーベラス様
黒木
『ブラウザ三国志』はかわいらしいキャラクターとはうらはらに、意外と難しいゲームです。だからこそ中毒性があって、ユーザーも継続してプレイしてくれていると思います。今年で8年目になるゲームなので、これからも安定した運用のために、今後もハートビーツさんを頼りにしています! 新たなジャンルのゲームを作るときには、ハートビーツさんに技術面でもご協力いただきたいです。また、ぜひハートビーツの皆さんにも『ブラウザ三国志』で天下統一を目指してほしいです!
五味
今後は、次のコンテンツを弊社が立ち上げる際に、その最初のところからパートナーとして相談に乗っていただきたいというのが、一番期待しているところです。これからも変わらずに、協力をお願いしたいと思います。私はコミュニケーションを密に取るゲームが好きで、ユーザー同士のつながりが強いゲームを作ってみたいと考えています。おそらくサーバー負荷が高いゲームになると思いますので、その際はぜひお願いします(笑)。
黒木誠士(くろきまさし)
趣味はゲーム全般とクラフトビール。大手ポータルサイト系企業に新卒で入社。広告システムの開発運用に携わったのち、Web系ベンチャー企業にて本格的にインフラを触り始める。マーベラスに入社後、現在はインフラチームの統括を担当。ラーメン二郎とお腹周りの肉との攻防を征するため奮闘中。
五味一郎(ごみいちろう)
2008年AQインタラクディブ(現マーベラス)入社。CSコンテンツ事業部を経てオンラインコンテンツ事業部に所属する。現在はPCブラウザゲーム『ブラウザ三国志』のプロデューサーを務める。
馬場俊彰(ばばとしあき)
株式会社ハートビーツ
馬場
私もどちらかと言うとアクセスの起伏が多く、ユーザーさんの動きが見えるシステムが好きなので、そのなかで黒木さまや五味さまをはじめとした、マーベラスの皆さまが楽になるよう、コミュニケーションを緊密に取りながら運用を行っていきたいと思います。
ハートビーツスタッフ
何も問題なくて運用できてしまう案件よりも、課題がたくさんあったほうが燃える性質なので(笑)、それを乗り越えて安定したシステムが作れると達成感がありますね。今後も『ブラウザ三国志』のようなアクセスが多く、人気のあるゲームを支えていけるよう努力します。新ゲームにも期待しています!
馬場俊彰(ばばとしあき)
電気通信大学の学生時代に、運用管理から業界入り。MSPベンチャーの立ち上げを手伝ったのち、中堅SIerの大手カード会社向けJavaプログラマーを経てハートビーツに参画。『Webエンジニアが知っておきたいインフラの基本』など著書多数。