OSC 2014 .Enterprise

【DevOpsを実践する為のChef活用テクニック】
資料はslideshareで公開されました
http://www.slideshare.net/yandod/devopschef-42626945

・"DevOps"の言葉は2009年 6月、Velocity2009の講演で出た。
・インフラを自動化すればDevOps、ではない。
　→
バージョン管理システムの共有
ワンステップによるビルドとデプロイ
フィーチャーフラグ
メトリクスの共有
IRCとインスタントメッセンジャーのbot

メールだけでcloseなコミュニケーションができますか？
☆slack がおすすめ。（チャットツール）

●好まれるツール
・Ansible
　→シンプル。プログラマに好まれる傾向
・Puppet
　→設定ファイルに近い。インフラエンジニアに好まれる傾向
・Chef
　→中間に近い。

●Chef
・構成管理ツール
・Chef社の製品。
　→製品に合わせて社名変えた。ドメインも変えたからリンク切れで大変。
・Ruby/Erlang

・主要なバージョン
Chef 0.10.x
Chef 11.x
　→アーキテクチャ、インストール方法が変更
Chef 12.x
　→課金体系の変更。Chef Solo と Clientの統合

Chef12からはオープンソース版と有償版の機能の差がほぼなくなった。
　→Chef11は有償版にしかない機能がたくさんある。

☆Chef Soloは廃止予定。
　→chef-client local に統合される
Chef soloがなくなるというのは風評被害だ！

☆クックブックにはrubyのコードもかけます。

●Chefの問題点
・上から順に実行されない
・アンチパターンが存在する
・孤独なChef使いになってしまう

☆テストスイートがありますので、CIできます。

資料のURLはtwitterで。

【分散処理技術Apache HadoopとHadoop関連技術の最新動向】
●Hadoop概要
・HDFS
　→コモディティサーバを大量に使用。故障発生が前提の設計
・Hadoop MapReduceフレームワーク
　→Googleが検索インデックス作成のため考案。少なくとも3000台までスケールアウトしても性能向上することが知られている。バッチ処理前提。

●Hadoopの利用シーン
おすすめの商品を表示するシステム
・１日に数GB以上
・数ヵ月～数年分を利用
が分析で扱うデータ

RDBMSで扱うには難しい規模のデータを処理する。
HadoopとRDBMSを使い分ける。

●Hadoopの特長
・分析系のデータ集計・抽出といった大容量処理だけではなくう、純バッチの高スループット化など、多数のレコードの処理に向いている
・データを蓄積、変換するといった使い方でコストパフォーマンスが高い

●クラスタの概要（Hadoop1系）
・集中管理型の分散処理

・Hadoop１系には課題が。
　→マスターノードの可用性
　→分散処理の仕組みとしてMapReduceしか支えない
　→分散処理マスターノードJobTrackerの処理ネック

●Hadoop2系
・HDFS上に蓄積したデータをMapReduceだけでなく、様々なアプローチで処理するための仕組み（YARN）を確率
・処理の管理はApplicationMasterの役割
・処理はコンテナによって実行される

●Hadoop最新情報
・2.6.0がリリースされました。
・YARN関係の可用性を向上

・StoragePolicyに応じて配置を変えられる。
　→同一スペックのサーバでクラスタを組む必要はなくなりました。

●Apache Tez
・YARN上での処理に最適化された実行エンジン
・AppicationMasterの起動回数削減
・HiveやPigのクエリ・コードを流用できる。

●大規模ユーザのYARN環境への移行
・Twitter,PaypalなどがHadoop2系に移行している。

【ZabbixとJobScheduler連携による運用システムOSS化の実現】
http://www.slideshare.net/ikedai/osc2014-enterprise-zabbixjobscheduleross

・多くのOSSは用途に特化した形で提供
　→APIをベースに各ツールを連携することがポイント。

・ZABBIX と Job Schedulerに着目したのは高機能＆拡張性の高さ

・ZABBIXは自動化機能が充実
　→監視設定パターン化、監視設定自動化、運用自動化

・JobScheduler
　→ドイツのSOS社が開発

●Jobの考え方
・Standalone Job
・Job Chain
・Schedule
・Job定義は様々な記述が可能

●HyClops JobMonitoring
・12/10 OSSとして公開

●３つのメリット
１．ジョブの失敗や遅延をZABBIXで検知
２．ジョブ実行時の状態の比較をZABBIXで行う
３．ジョブ実行時の高不可に備えた監視設定

HyClopsJMの機能詳細
・JobSchedulerからのアラートをフックして、ZABBIXにアイテム登録可能
・トリガー閾値の自動変更
　→ジョブ実行中のみ有効なトリガーを登録することができる。
　→閾値変更ジョブとして登録

●デモ
うまくいきました。

●HyClopsJMのセットアップ
Chefのクックブックもあるよ！

【大規模商用システムの統合監視を実現するPandora FMS Enterprise】
つかったことがないので、どんなもんかなーと聞きに行ったんですが、

・Zabbixに対抗して機能を取り込んだ
・ただし、目標にしたバージョンが低かった
・最新の2.4には機能で負けています…

という感じ。
UIはPandoraの方がはるかにわかりやすいです。
Zabbixは3.0で大幅にUIが変わるようなので期待。