« 遂に日本上陸! 真のハイブリッドクラウド 『VMware vCloud Air』 | トップページ | 携帯キャリアを変えました。 »

2014/12/12

OSC 2014 .Enterprise

【DevOpsを実践する為のChef活用テクニック】
資料はslideshareで公開されました
http://www.slideshare.net/yandod/devopschef-42626945

・"DevOps"の言葉は2009年 6月、Velocity2009の講演で出た。
・インフラを自動化すればDevOps、ではない。
 →
バージョン管理システムの共有
ワンステップによるビルドとデプロイ
フィーチャーフラグ
メトリクスの共有
IRCとインスタントメッセンジャーのbot

メールだけでcloseなコミュニケーションができますか?
☆slack がおすすめ。(チャットツール)


●好まれるツール
・Ansible
 →シンプル。プログラマに好まれる傾向
・Puppet
 →設定ファイルに近い。インフラエンジニアに好まれる傾向
・Chef
 →中間に近い。

●Chef
・構成管理ツール
・Chef社の製品。
 →製品に合わせて社名変えた。ドメインも変えたからリンク切れで大変。
・Ruby/Erlang

・主要なバージョン
Chef 0.10.x
Chef 11.x
 →アーキテクチャ、インストール方法が変更
Chef 12.x
 →課金体系の変更。Chef Solo と Clientの統合

Chef12からはオープンソース版と有償版の機能の差がほぼなくなった。
 →Chef11は有償版にしかない機能がたくさんある。

☆Chef Soloは廃止予定。
 →chef-client local に統合される
Chef soloがなくなるというのは風評被害だ!

☆クックブックにはrubyのコードもかけます。

●Chefの問題点
・上から順に実行されない
・アンチパターンが存在する
・孤独なChef使いになってしまう

☆テストスイートがありますので、CIできます。

資料のURLはtwitterで。


【分散処理技術Apache HadoopとHadoop関連技術の最新動向】
●Hadoop概要
・HDFS
 →コモディティサーバを大量に使用。故障発生が前提の設計
・Hadoop MapReduceフレームワーク
 →Googleが検索インデックス作成のため考案。少なくとも3000台までスケールアウトしても性能向上することが知られている。バッチ処理前提。

●Hadoopの利用シーン
おすすめの商品を表示するシステム
・1日に数GB以上
・数ヵ月~数年分を利用
が分析で扱うデータ

RDBMSで扱うには難しい規模のデータを処理する。
HadoopとRDBMSを使い分ける。

●Hadoopの特長
・分析系のデータ集計・抽出といった大容量処理だけではなくう、純バッチの高スループット化など、多数のレコードの処理に向いている
・データを蓄積、変換するといった使い方でコストパフォーマンスが高い

●クラスタの概要(Hadoop1系)
・集中管理型の分散処理

・Hadoop1系には課題が。
 →マスターノードの可用性
 →分散処理の仕組みとしてMapReduceしか支えない
 →分散処理マスターノードJobTrackerの処理ネック

●Hadoop2系
・HDFS上に蓄積したデータをMapReduceだけでなく、様々なアプローチで処理するための仕組み(YARN)を確率
・処理の管理はApplicationMasterの役割
・処理はコンテナによって実行される

●Hadoop最新情報
・2.6.0がリリースされました。
・YARN関係の可用性を向上

・StoragePolicyに応じて配置を変えられる。
 →同一スペックのサーバでクラスタを組む必要はなくなりました。

●Apache Tez
・YARN上での処理に最適化された実行エンジン
・AppicationMasterの起動回数削減
・HiveやPigのクエリ・コードを流用できる。

●大規模ユーザのYARN環境への移行
・Twitter,PaypalなどがHadoop2系に移行している。


【ZabbixとJobScheduler連携による運用システムOSS化の実現】
http://www.slideshare.net/ikedai/osc2014-enterprise-zabbixjobscheduleross

・多くのOSSは用途に特化した形で提供
 →APIをベースに各ツールを連携することがポイント。

・ZABBIX と Job Schedulerに着目したのは高機能&拡張性の高さ

・ZABBIXは自動化機能が充実
 →監視設定パターン化、監視設定自動化、運用自動化

・JobScheduler
 →ドイツのSOS社が開発

●Jobの考え方
・Standalone Job
・Job Chain
・Schedule
・Job定義は様々な記述が可能

●HyClops JobMonitoring
・12/10 OSSとして公開

●3つのメリット
1.ジョブの失敗や遅延をZABBIXで検知
2.ジョブ実行時の状態の比較をZABBIXで行う
3.ジョブ実行時の高不可に備えた監視設定

HyClopsJMの機能詳細
・JobSchedulerからのアラートをフックして、ZABBIXにアイテム登録可能
・トリガー閾値の自動変更
 →ジョブ実行中のみ有効なトリガーを登録することができる。
 →閾値変更ジョブとして登録

●デモ
うまくいきました。

●HyClopsJMのセットアップ
Chefのクックブックもあるよ!


【大規模商用システムの統合監視を実現するPandora FMS Enterprise】
つかったことがないので、どんなもんかなーと聞きに行ったんですが、

・Zabbixに対抗して機能を取り込んだ
・ただし、目標にしたバージョンが低かった
・最新の2.4には機能で負けています…

という感じ。
UIはPandoraの方がはるかにわかりやすいです。
Zabbixは3.0で大幅にUIが変わるようなので期待。

|

« 遂に日本上陸! 真のハイブリッドクラウド 『VMware vCloud Air』 | トップページ | 携帯キャリアを変えました。 »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: OSC 2014 .Enterprise:

« 遂に日本上陸! 真のハイブリッドクラウド 『VMware vCloud Air』 | トップページ | 携帯キャリアを変えました。 »