１．脆弱性とは何か。

不具合である。「不具合は、機械が作り出すものではない。人が作り出すものだ。」と言う先輩がいた。
設計者とプログラマ、設計者と管理者、開発者と運用者のようにシステムには、人の役割と目的が異なる人間関係にあり、
両者の誤認により、不具合は発生する。
たとえば、Apacheの脆弱性が発覚すると、管理コンソールをWEBで提供しているすべての機器に波及する。
Apacheは、管理コンソールを目的に作られたものではない。
まさしく、役割と目的の異なる人間関係であり、現在、最も多くの人が利用しているソフトウェアといえる。

誤認の種類
a. まさかそんな便利機能があったなんて。
b. その機能を使うつもりはないんだけど。
c. えっ、途中で断念したものも、組み込まれているの。

そして、ソースコードは公開されているのである。もちろん、提供製品において何を使って作られているかは非公開である。

２．セキュリティ対策とは

誤認の中、埋もれている機能を利用しようとする悪意あるユーザからシステムを守る事である。
守り方は
a. オリジナルソースコードで作成する。（公開されたソースコードのOS,ミドルウェア、ソフトウェアは利用しない）
b. アプリレベルでガードする。アプリケーションに一枚かぶせて、利用する引数のみを宣言する。元のアプリは直接起動できないようにする。
c. 踏み台を利用した閉じた世界を作成する。利用できる端末（PC）を限定し、特定ユーザのみが端末にログインできる。
d. 利用サービスと利用者を限定するFeirewall機能を利用し、悪意あるユーザからの直接アクセスを防ぐ。
e. 被害のあった人から、ポイントを聞いて、バージョンアップやパッチを適用する。（セキュリティソフトウェアの利用）

顧客の予算と守るべき要求、守れないリスクを共有し、対策を講じる事がシステム提供者には求められる。
ちなみに、方法「a.」はjavaやapache、unixを使わず、オリジナルを作るという事なので、どれだけ高額なるかは想像できるだろう。

３．セキュリティ対策対象

インターネットに接続しているすべての機器が対象となる。
現在はサービスへの直接攻撃から、事務所PCを介したサービスの管理機能への攻撃が主流になっている。
管理担当者や運用担当者による攻撃も、行われている昨今である為、セキュリティ製品、機能による防御には限界が来ているかもしれない。
究極の管理方法の一つとして、電子化しないという対策を講じている業種もある。

データの暗号化や、ネットワークケーブルの物理的なON,OFFスイッチを提供している製品もあるが、人が扱う以上、完ぺきとは言えないだろう。

４．セキュリティ対策の検討タイミング

システム提供時は当然である。対策内容によっては高額になる為、要件段階から確認する必要がある。
システム引き継ぎ時は要注意である。セキュリティ問題は、いつやってくるかわからないし、問題が発生してから、どうなっているかを
求められる為、引き継ぎ時に顧客とどのように合意されているかを把握する事は必要である。
保守しているのであれば、定期的に提案する事で、合意化していくことができる。合意文書がどこにもないシステムは多い。

５．セキュリティ対策とはどのようなものか。

a. セキュリティソフトウェア。
あるユーザが、悪意のあるサイトにアクセスし、自身のPCに感染したと報告を受けると、対象アドレスを製品に提供し、アクセスさせないようにする機能である。
これは、メールも同様で本文に対象アドレスが記載されていると、削除するものである。
公開サイトからダウンロードしたソフトウェアに外部からの利用可能なプログラムが存在していた場合、スキャン機能でプログラムを探し、削除する機能も提供されている。
これらは世界のどこかで被害者がでないと防ぐ事ができない。

b. 暗号化
特定のPC,サーバ,ユーザ毎にデータに対し暗号化、複合化を行う機能である。
暗号には鍵が必要である。これは鍵を紛失すると2度と複合化できない事であり、鍵を盗まれると複合化されてしまう事である。
システムとして機能は提供できるが、鍵を管理している担当者の不正は防ぐ事はできない。

他にもあるが、脆弱性の性質上（皆が利用したい便利機能を低コストで利用する事を目的として広く普及している機能）、
多くの人が利用している製品を使用し、多くの人が利用しているセキュリティ製品を利用して守る行為には疑問が残る。
マイナーな機能を使用し、対策するべきではないかと思うが、マイナーな機能には不安定かつ、技術者不足というコスト上の問題はある。

以上。

この訓練は2時間としている。
下記、項目に関して整理し、突然の顧客からの質問の答えられるようにしましょう。

質問１：最近のセキュリティ対策はどうなっているの？　（社内イントラサービスの場合と社外インターネットサービスの場合）
質問２：PCへの感染はいいとしても、個人情報漏えいさせない方法はないですか。
質問３：セキュリティ対策すると運用はどうなるの？

回答１：PCソフトウェアからサーバ型のソフトウェアなど、多岐にわたる。0dayアタックに対応したものもアプライアンス製品として、
提供されている。インターネット向けはFWによる通信制限からUNIX向けのソフトウェアも提供されているが、提供しているjavaやPHPへの攻撃が主流であり、この部分への製品はない。FWの通信制限もインターネット通信のみから社内PCからの通信制限にも利用してきている。

回答２：漏えいしづらい環境は構築できるが、社内の特定PC、特定ユーザからアクセス可能にする以上、完全な提供はできない。
漏えいしづらくすればするほど、管理が面倒になっていく。容易な方法としては無人ルームに共有ディスクを配置し、必要に応じて、
ネットワークケーブルを結線、抜線するのがわかりやすいが、どのように運用したいかの要件が必要である。

回答３：ユーザパスワード管理、鍵管理、ユーザ追加、削除、利用可能時間の制御、接続許可の払い出しと返却など、提供機能分の運用業務が増える。今の業務に対し、どのように追加し、月次、年次点検で何を確認するか、また、そのような業務がそもそも存在するかで運用コストが
変わってくる。担当者の退職で運用できなくなるというのは少なくない。

移行ツール

VB6の.frmの書式はこんな感じ

      Begin VB.TextBox txt期間指定FROM
         BackColor       =   &H00FFFF80&
         BeginProperty Font
            Name            =   “ＭＳ ゴシック”
            Size            =   15.75
            Charset         =   128
            Weight          =   400
            Underline       =   0   ‘False
            Italic          =   0   ‘False
            Strikethrough   =   0   ‘False
         EndProperty
         Height          =   360
         IMEMode         =   3  ‘ｵﾌ固定
         Left            =   180
         MaxLength       =   10
         TabIndex        =   3
         Text            =   “2004/08/19″
         Top             =   240
         Width           =   1875
      End

• VB.TextBox　・・・これを引っ掛ければ、input text 変数とそのRequestに使えるな。
• Name　・・・STYLESHEETで使用するには、ある程度設計しておいた方が、よさそう。
• MaxLength ・・・ input maxlengthに使うか。
• TabIndex　・・・ カーソルの移動順番でもあり、HTMLでの記述順番を考慮しよう。Tableタグで変わったりもするけど。。。

そうそう、ボタンは「Begin VB.CommandButton」として宣言しているので、これにも対応しよう。

ASPも古いもののVB2008とかだと、サーバーOSも変わるし、いろいろと悩みどころ。ただ、移行ツールはなかったか、あっても、大変というイメージがある。（備忘録として残しておこう。。）

考えること

• .frmをHTMLに変更する。デザインは、おいておいて、STYLESHEETを考えつつ、iput タグ(TEXT,BUTTON)を考えよう。
• .frmの変数を宣言する。WEB化なので、requestして、変数に代入する必要があるな。
• コーディング構造は、画面部品→処理なので、ファイルを分離しよう。結果として、処理→画面部品というか画面表示の順になる。
• 処理の切り分けが悩ましい。サーバサイドで行うか、クライアントサイドで行うか。まずはサーバサイドのASPで考えて、必要に応じてjavascript化しよう。

これで、いけるのか？？

投稿のビジュアル（エディター）にペースト。

ほぼいけるようだ。セルの結合は対応できていないので、HTML（エディター）で直すしかないかもしれない。

上記のように選択して、下記にコピーしてみた。

このようになります。

————————————————————————————-

以下、身内用

Excelコピーのテスト①

Excelコピーのテスト②

Excelコピーのテスト③

————————————————————————————-

この投稿はパスワードで保護されています。表示するにはパスワードを入力してください:

パスワード:

この投稿はパスワードで保護されています。表示するにはパスワードを入力してください:

パスワード:

この投稿はパスワードで保護されています。表示するにはパスワードを入力してください:

パスワード:

nagiosとは監視のOSS（OpenSourceSoftware）になります。

• 本家ページは、http://www.nagios.org
• 翻訳ページは、http://nagios.x-trans.jp/nagios/index.php
• 弊社デモサイト、http://acc-s.com/nagios/   （ユーザ：demo、パスワード：demoでログインできます。）

※弊社デモサイトはカスタマイズしていて、純粋なNagiosは、「Nagios画面」のページのみです。

ここでは、概要についてふれます。

監視とは

サービスの正常運用を保つ為には以下のことが、重要です。

1. 正常、異常の定義／境界
2. ステータスの読み方、正確な値の取り方
3. 製品（Nagios）の特徴と理解

正常、異常は利用者が境界線を定義します。システムの特性により、どのような状況を警告とし、また異常と扱うか。提供サービスの負荷状況が徐々に変化するものであれば、90%で警告、95%で異常としてもいいかもしれない。突発的に変化するサービスであれば、50%警告、75%で異常とする必要があります。要は100%が来る前に何らかの回避策が必要で、手を打つまでの時間を作る事が目的です。

監視で取り扱うステータスは、取得方法は標準化されていますが、取得した値は機器によるばらつきがあります。また、メーカー側も主となるサービスには人員が確保されていますが、このステータスを理解している担当者が少なく、誤情報を提供されることもあります。システムを構成するファイアウォール、ロードバランサー、L3スイッチ、サーバ、ストレージ、データベースと複数の機器のステータスをみて、問題の機器のステータスが正しいかを見極める必要があり、疑問があれば、メーカー側に何度も問い合わせる必要があります。

監視製品はいくつも出回っています。どの製品を採用するかは、扱っているシステムの特徴や、監視の運用方針にかかわってきます。Nagiosの特徴は、下記でしょうか。 

• すべてのステータスが１ページ内で確認できる（次ページとか、子ページにいく必要がない）
• 技術者の好きな言語でカスタマイズできる（Shell、perl、C言語など）

システムに標準でついている機能では、特定の機器に対応できていない場合があります。あるいは、サービス障害により取得したステータスが違う事に気づく事があります。標準で対応できていないのであれば、容易にカスタマイズできるのは、Nagiosの特徴でしょう。

監視項目

とりあえず、列挙していきます。

FW（ファイアウォール）　－　ネットワーク機器

• ネットワークトラフィック　・・・　100MBps、1GBpsという規格に対し、通信量を監視
• アタック件数　・・・　分間や秒間における外部からの攻撃された件数を監視
• CPU使用率　・・・　機器のCPU使用率を監視
• メモリ使用率　・・・　機器の搭載メモリに対する使用率を監視　

LB（ロードバランサー）　－　ネットワーク機器 

• ネットワークトラフィック　・・・　1GBpsという規格に対し、通信量を監視
• ネットワークトラフィック（仮想サーバ）　・・・ 仮想サーバ単位に通信量を監視
• 同時接続数　・・・　同時分秒内に接続しているユーザ数を監視
• 新規接続数(New Conn)　・・・ 分間、秒間での新規に接続してきたユーザ数を監視
• CPU使用率
• メモリ使用率

L3SW（L3コアスイッチ）　－　ネットワーク機器 

• ネットワークトラフィック　・・・　24ポート、48ポートと機器により変わり、利用中のポートに対し通信量を監視
• CPU使用率
• メモリ使用率

LINUXサーバ　－　サーバ機器 

• ネットワークトラフィック
• CPU使用率
• メモリ使用率
• ディスク使用率
• プロセス数
• ファイル数
• 時刻同期　・・・　時刻同期を設定しているが時刻提供サーバとの時刻差を監視

WINDOWSサーバ　－　サーバ機器 

• ネットワークトラフィック
• CPU使用率
• メモリ使用率
• ディスク使用率

共有ストレージ　－　SAN、NASストレージ機器 

• ネットワークトラフィック
• CPU使用率
• メモリ使用率
• ディスク使用率
• ディスクIO　・・・ 秒間のディスクI／O件数を監視

データベース　－　ミドルウェア製品 

•  テーブルスペース使用率　・・・　データベース上のディスク使用率

アプリサーバ　－　ミドルウェア製品 

• javaヒープ使用率　・・・　（例：javaプロセスに割り当てたメモリの使用率）
• javaスレッド件数　・・・　（例：javaプロセスに割り当てたスレッド数の件数）

サービス　－　アプリケーション 

• 発生件数　・・・　ユーザ操作によるデータの発生件数を秒間で監視　
• 処理時間　・・・　ユーザ操作によるデータの登録要求から完了までの時間を監視

上記のような監視項目をNagiosに設定していきます。

Nagiosの構成

Nagiosは大きく２つの監視方法を持っています。

1. snmpインタフェースを持つ機器にステータスを要求、取得
2. nagiosクライアントをインストールした機器にステータスを要求、取得

「１」はネットワーク機器で、サーバ機器は「１」と「２」の両方になります。いずれも、対象機器の接続許可の設定や、インストール作業が必要です。

図解したいのですが、

1. 監視サーバ（Nagiosサーバ）　←(snmp)→　ネットワーク機器
2. 監視サーバ(Nagiosサーバ）　←(nrpe)→　サーバ機器（Nagiosクライアント）

Configの構成(Nagiosサーバ）

Nagiosのバージョンにより異なりますが、

メインの設定ファイルは/etc/nagios.cfgで、このファイルから下記を読み込んでいます。

• commands.cfg　・・・ 監視で使用するコマンドの設定
• contacts.cfg　・・・　ユーザ、グループ定義
• localhost.cfg 　・・・　監視対象機器の定義
• printer.cfg  ・・・　（使ったことがない）
• switch.cfg  ・・・ ネットワーク機器の定義
• templates.cfg  ・・・　他のcfgをテンプレートとして定義したもの
• timeperiods.cfg  ・・・　監視間隔、監視曜日、監視時間帯の定義
• windows.cfg　・・・　監視対象のWindowsサーバの定義

上記は、デフォルトかつサンプルの定義です。すべて名前を変えることができ、その場合、/etc/nagios.cfg に記載したファイルの名前を同様に変えます。

（参考:抜粋）　$ more nagios.cfg
##############################################################################
#
# NAGIOS.CFG – Sample Main Config File for Nagios 3.1.0
#
# Read the documentation for more information on this configuration
# file.  I’ve provided some comments here, but things may not be so
# clear without further explanation.
#
# Last Modified: 12-14-2008
#
##############################################################################
# LOG FILE
# This is the main log file where service and host events are logged
# for historical purposes.  This should be the first option specified
# in the config file!!!

log_file=/usr/local/nagios/var/nagios.log

# OBJECT CONFIGURATION FILE(S)
# These are the object configuration files in which you define hosts,
# host groups, contacts, contact groups, services, etc.
# You can split your object definitions across several config files
# if you wish (as shown below), or keep them all in a single config file.

# You can specify individual object config files as shown below:
cfg_file=/usr/local/nagios/etc/objects/commands.cfg
cfg_file=/usr/local/nagios/etc/objects/contacts.cfg
cfg_file=/usr/local/nagios/etc/objects/timeperiods.cfg
cfg_file=/usr/local/nagios/etc/objects/templates.cfg

# You can also tell Nagios to process all config files (with a .cfg
# extension) in a particular directory by using the cfg_dir
# directive as shown below:

cfg_dir=/usr/local/nagios/etc/servers

（参考:抜粋）　$ more command.cfg

################################################################################
#
# SAMPLE SERVICE CHECK COMMANDS
#
# These are some example service check commands.  They may or may not work on
# your system, as they must be modified for your plugins.  See the HTML
# documentation on the plugins for examples of how to configure command definitions.
#
# NOTE:  The following ‘check_local_…’ functions are designed to monitor
#        various metrics on the host that Nagios is running on (i.e. this one).
################################################################################

# ‘check_local_disk’ command definition
define command{
        command_name    check_local_disk
        command_line    $USER1$/check_disk -w $ARG1$ -c $ARG2$ -p $ARG3$
        }
# ‘check_local_load’ command definition
define command{
        command_name    check_local_load
        command_line    $USER1$/check_load -w $ARG1$ -c $ARG2$
        }
# ‘check_local_procs’ command definition
define command{
        command_name    check_local_procs
        command_line    $USER1$/check_procs -w $ARG1$ -c $ARG2$ -s $ARG3$
        }
# ‘check_local_users’ command definition
define command{
        command_name    check_local_users
        command_line    $USER1$/check_users -w $ARG1$ -c $ARG2$
        }

（参考:抜粋）　$ more XXXXXX.cfg

define contactgroup{
        contactgroup_name       A07000009
        alias                   Service User
        members                 A07000009
        }
define contact{
        contact_name            A07000009
        use                     generic-contact
        alias                   service user
        email                   kei@acc-s.co.jp
        }
define hostgroup{
        hostgroup_name          group-A07000009
        alias                   HTTP Servers
        members                 www.google.com
        }
define host{
        name                    group-A07000009
        use                     generic-host
        check_period            24×7
        check_interval          5
        retry_interval          3
        max_check_attempts      1
        ;check_command          check-host-alive
        check_command           check_http
        ;notification_period    workhours
        ;notification_period    24×7
        notification_interval   120
        notification_options    d,u,r
        contact_groups          admins,A07000009
        register                0
        }
define service{
        name                    services-A07000009
        use                     generic-service
        max_check_attempts      4
        normal_check_interval   5
        retry_check_interval    1
        contact_groups          admins,A07000009
        register                0
        }

Configの構成(Nagiosクライアント）

クライアント側は下記のようになっています。

（参考:抜粋）　$ more nrpe.cfg

command[check_load]=/usr/local/nagios/libexec/check_load -w 9.0,7.0,6.0 -c 10.0,8.0,7.0
command[check_disk]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
command[check_mem]=/usr/local/nagios/libexec/check_mem.pl -f -w 20 -c 10　
command[check_total_procs]=/usr/local/nagios/libexec/check_procs -w 250 -c 400 -s RSZDT
command[check_users]=/usr/local/nagios/libexec/check_users -w 3 -c 5
command[check_ssh]=/usr/local/nagios/libexec/check_ssh -H 127.0.0.1
command[check_ntp]=/usr/local/nagios/libexec/check_ntp -H 外部NTPサーバーIPアドレス -w 1 -c 2
command[check_http]=/usr/local/nagios/libexec/check_http -H 127.0.0.1
command[check_smtp]=/usr/local/nagios/libexec/check_smtp -H 127.0.0.1
command[check_amavisd]=/usr/local/nagios/libexec/check_tcp -H 127.0.0.1 -p 10024

check_loadや、check_diskはC言語になり、標準でついています。check_mem.pl は perlプログラムです。ファイルに実行権限があれば、実行することができるので、カスタマイズする場合は、自身で作ったプログラムを上記、設定ファイルに追加します。

サーバ側の command.cfg の command_name　check_disk が、クライアント側のcommand[check_disk]になり、一連の設定の流れになります。

Nagiosにないもの

大方の監視は、実現できますが決定的に足りないものとして、下記があります。

• ログ監視
• CPU使用率などの日、週、月のグラフ　・・・ 追加製品を公開している人がいたような気がします。

ログ監視は、syslog とswatchというOSSを使用して実現したりします。

グラフ表示は、mrtg(OSS)や、munin(OSS)を使用して実現したりします。

ほかにも監視の製品はたくさんあります。結構、注目を浴びているのは ZABBIXですが、どの製品も１つで十分とは言い切れないのが現状でしょうか。

Nagiosの感想

製品自体は難しくはありません。ファイル数もアプリと比較すれば非常に少ないです。実際、やっている事もC言語で作られたコマンドを実行し、そのステータスを収集するものです。どちらかと言えば、監視対象機器の知識だったり、誰かが設定した各設定ファイルの誤りを見つける為に使用するサーバコマンドの知識が大切でしょう。

• 現在の監視では不十分だから、○○を監視する項目を追加したい要望に応える。
• 新しい機器のMIB（snmpで取得したいステータスのID）がわからない。
• 標準の監視コマンドが、怪しいので調べる。

上記のような技術があると、重宝されるのではないかと思います。ただ、この辺は、徐々に把握できればいいでしょう。昨今はサーバ増設が多いので、Nagiosサーバには既存の設定に監視項目を追加していき、増設サーバにはNagiosクライアントをインストールする作業が優先です。

ちまたでは、

大量データを貯めこんで高速検索では、既に古い情報

今注目されているのは、

リアルタイム分析

googleで検索してみると、下記のような製品がヒットしました。

• 【PFI】Sedue for BigData　～ Jubatus派生 ～
• 【富士通】FUJITSU Software Interstage Terracotta BigMemory Max V4.0　～ Teracotta派生 ～
• 【OSS】Jubatus（ユバタス）
• 【SoftwareAG】Software AG Presto Real-Time Analytics Add-On With Terracotta BigMemory ～ Teracotta連携 ～
• 【IBM】IBM InfoSphere Streams
• 【HP】Vertica Analytics Platform

ひととおり見てみて、リアルタイム分析システムの特徴は以下のようになる。（と言い切っていいのだろうか）

1. ため込むのではなく、中継しながら分析する方式である。
2. 並行分散可能なソフトウェアである。
3. 大量データを扱う為、大量のメモリを消費する。

分析機能としては、

1. 大量データは試行錯誤したり、見方を変えながら分析をする事ができる。
2. １．のような分析をリアルタイムでする必要はない。
3. どのように事象が変化していくのかを分析する。
4. 大量データの分析とリアルタイム分析は、異なるものととらえるべき

もう少し踏み込む前にリアルタイム分析製品は、 Jubatus、Terracottaあたりが、主流のように見える。Jubatusはオープンソースという事もあり、ドキュメントが公開されている。

http://jubat.us/ja/index.html

上記サイトから

Jubatusの特徴

• 深い分析

Jubatusは、分類、回帰、統計、推薦、グラフマイニングなど多くの深い分析を実現しています。またバッチ型機械学習と同程度の学習精度を実現しています。

• スケーラビリティ

Jubatusは、廉価なコモディティサーバを多数並べた分散処理（スケールアウト）が可能です。理論的には100台程度までスケールアウトが可能です。Jubatusでは、コモディティサーバで10万qpsを超えるスケーラブルな機械学習を実現しています。

• リアルタイム

Jubatusは、データをためることなく瞬時に学習を行います。

Hadoopとの比較

Hadoop/MahoutとJubatusの間には多くの共通点があります。これらはスケーラブルで、コモディティサーバ上で動作します。

ストック型データに対する一括高速分析（バッチ処理）を得意とするHadoopは、機械学習がMapReduceパラダイムにあまり適合していないこともあり、洗練された機械学習機能を備えていません。Apache Mahout も Hadoop-based な機械学習プラットフォームですが、オンライン処理はスコープ外です。
Jubatusは、データ分析に特化しています。 Jubatusは、すべてのデータをメモリ上で処理し、オンラインで処理し、高いスループットと低いレイテンシを実現します。 この機能を実現するために、Jubatusは分散環境におけるゆるいモデルの共有と同期というアーキテクチャを採用しているのです。

最後に

JubatusではHadoopでもおなじみのZookeeperを使用して分散化をしている。この辺の特徴から、Hadoop(BIGデータ分析）、Jubatas(リアルタイム分析）の棲み分けも面白いが、サーバは別々に用意する必要がある為、ハードウェアというよりシステム管理面で共有する事になる。(OSS＋java)

Jubatusを提案するには、オンライン連携（中継）の方式、オンラインデータのフォーマット機能、分析機能とメンテナンス方式を理解し、構成を提示する事になるだろう。他の製品を進めるにも、このあたりの知識をメーカー、顧客と調整する必要がありそうだ。

用意したもの

• jdk-6u38-linux-x64-rpm.bin
• rpmforge-release-0.5.2-2.el5.rf.x86_64.rpm　　(必要なかったかも。。。）
• hadoop-1.1.1-1.x86_64.rpm　(本体)
• hadoop-1.1.1.tar.gz  (サンプルプログラムが欲しかった)

インストール

• rpm はroot ユーザで rpm -ivh でインストールする。
• hadoop-1.1.1.tar.gz は一般ユーザで解凍する。 ※誰でもいいのか不安だったので、上記で作成された mapred ユーザで解凍した。

月並みだけど、java のインストール後に JAVA_HOME の環境変数が必要です。私は面倒だったので、/etc/profile.d/java.sh を新規作成して、「export JAVA_HOME=/usr/java/latest」の１行のみ書いています。

hadoop-1.1.1-1.x86_64.rpm で作成されるもの

コマンド

hadoop                               hadoop-setup-conf.sh          hadoop-　　　validate-setup.sh
hadoop-create-user.sh         hadoop-daemons.sh             hadoop-setup-hdfs.sh
hadoop-daemon.sh              hadoop-setup-applications.sh  hadoop-setup-single-node.sh

hadoop コマンドや設定ファイルを作成してくれるもの、デーモン起動に使用するものがある。/usr/sbin や /usr/local/bin に作成される。

環境ファイル

/etc/hadoop が作成されます。よく解説にでてくる core-site.xml、hdfs-site.xml、mapred-site.xml がここに作成されます。

起動スクリプト

/etc/init.d/に各起動スクリプトが作成される。

hadoop-datanode  hadoop-historyserver  hadoop-jobtracker   hadoop-namenode  　　　　　hadoop-secondarynamenode  hadoop-tasktracker

この辺を起動するのだけど、hadoop の通信は結構あるので、iptables は停止した方が良い。

やったこと

• hadoop-create-user.sh
• hadoop-setup-single-node.sh
• hadoop-setup-hdfs.sh

上記を何も考えずに実行した。

• core-site.xml
• hdfs-site.xml
• mapred-site.xml

上記のlocalhostを全て 192.168.0.xxx のIPアドレスに変更した。あとで思えば、localhost のままでもいいものも、あったように思う。

• hadoop サービスの再起動。

順番は、/etc/rc3.d の記載順

/etc/rc3.d/S90hadoop-datanode start
/etc/rc3.d/S90hadoop-jobtracker start
/etc/rc3.d/S90hadoop-namenode start
/etc/rc3.d/S90hadoop-tasktracker start

• サイトアクセス

http://192.168.0.xxx:50070　　はHDS のWEBサービス

http://192.168.0.xxx:50030      は job tracker のWEBサービス

• テスト

hadoop-1.1.1.tar.gz を展開すると、下記のようなサンプル(？)が、展開される。

hadoop-ant-1.1.1.jar
hadoop-client-1.1.1.jar
hadoop-core-1.1.1.jar
hadoop-examples-1.1.1.jar
hadoop-minicluster-1.1.1.jar
hadoop-test-1.1.1.jar
hadoop-tools-1.1.1.jar

とりあえず、hadoop-examples-1.1.1.jar を maperd ユーザで実行してみる。

$ hadoop jar hadoop-examples-1.1.1.jar
An example program must be given as the first argument.
Valid program names are:
aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.
dbcount: An example job that count the pageview counts from a database.
grep: A map/reduce program that counts the matches of a regex in the input.
join: A job that effects a join over sorted, equally partitioned datasets
multifilewc: A job that counts words from several files.
pentomino: A map/reduce tile laying program to find solutions to pentomino problems.
pi: A map/reduce program that estimates Pi using monte-carlo method.
randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.
randomwriter: A map/reduce program that writes 10GB of random data per node.
secondarysort: An example defining a secondary sort to the reduce.
sleep: A job that sleeps at each map and reduce task.
sort: A map/reduce program that sorts the data written by the random writer.
sudoku: A sudoku solver.
teragen: Generate data for the terasort
terasort: Run the terasort
teravalidate: Checking results of terasort
wordcount: A map/reduce program that counts the words in the input files.

親切ですね。コマンドに何があるか教えてくれているみたい。。。本にも紹介されていた wordcount が簡単そう。。

$ hadoop jar hadoop-examples-1.1.1.jar wordcount
Usage: wordcount <in> <out>

さらなる引数を教えてくれた。INファイルをOUTディレクトリが必要らしい。INファイルはUNIXファイルシステムではない事に注意。

INファイルをアップします。

$ hadoop dfs -ls /
Found 2 items
drwxrwxrwx   – hdfs   supergroup          0 2012-12-24 22:25 /tmp
drwxr-xr-x   – hdfs   supergroup          0 2012-12-24 20:31 /user

二つのディレクトリがHDS上に存在するらしい、dfs は -ls 以外に -mkdirなどいろいろあります。

UNIXファイルをアップします。

$ hadoop dfs -put /etc/hosts /tmp/
-bash-3.2$ hadoop dfs -ls /tmp/
Found 1 items
-rw——-   3 mapred supergroup        238 2012-12-24 23:29 /tmp/hosts

ファイルがアップできたので、再度コマンドを実行します。

$ hadoop jar hadoop-examples-1.1.1.jar wordcount /tmp/hosts /tmp/output
12/12/24 23:32:13 INFO input.FileInputFormat: Total input paths to process : 1
12/12/24 23:32:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/12/24 23:32:13 WARN snappy.LoadSnappy: Snappy native library not loaded
12/12/24 23:32:13 INFO mapred.JobClient: Running job: job_201212242215_0005
12/12/24 23:32:14 INFO mapred.JobClient:  map 0% reduce 0%
12/12/24 23:32:29 INFO mapred.JobClient:  map 100% reduce 0%
12/12/24 23:32:36 INFO mapred.JobClient:  map 100% reduce 33%
12/12/24 23:32:37 INFO mapred.JobClient:  map 100% reduce 100%
12/12/24 23:32:38 INFO mapred.JobClient: Job complete: job_201212242215_0005
12/12/24 23:32:39 INFO mapred.JobClient: Counters: 29
12/12/24 23:32:39 INFO mapred.JobClient:   Job Counters
12/12/24 23:32:39 INFO mapred.JobClient:     Launched reduce tasks=1
12/12/24 23:32:39 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=13193
12/12/24 23:32:39 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/12/24 23:32:39 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/12/24 23:32:39 INFO mapred.JobClient:     Launched map tasks=1
12/12/24 23:32:39 INFO mapred.JobClient:     Data-local map tasks=1
12/12/24 23:32:39 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8831
12/12/24 23:32:39 INFO mapred.JobClient:   File Output Format Counters
12/12/24 23:32:39 INFO mapred.JobClient:     Bytes Written=285
12/12/24 23:32:39 INFO mapred.JobClient:   FileSystemCounters
12/12/24 23:32:39 INFO mapred.JobClient:     FILE_BYTES_READ=395
12/12/24 23:32:39 INFO mapred.JobClient:     HDFS_BYTES_READ=338
12/12/24 23:32:39 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=58367
12/12/24 23:32:39 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=285
12/12/24 23:32:39 INFO mapred.JobClient:   File Input Format Counters
12/12/24 23:32:39 INFO mapred.JobClient:     Bytes Read=238
12/12/24 23:32:39 INFO mapred.JobClient:   Map-Reduce Framework
12/12/24 23:32:39 INFO mapred.JobClient:     Map output materialized bytes=395
12/12/24 23:32:39 INFO mapred.JobClient:     Map input records=7
12/12/24 23:32:39 INFO mapred.JobClient:     Reduce shuffle bytes=395
12/12/24 23:32:39 INFO mapred.JobClient:     Spilled Records=52
12/12/24 23:32:39 INFO mapred.JobClient:     Map output bytes=343
12/12/24 23:32:39 INFO mapred.JobClient:     CPU time spent (ms)=1900
12/12/24 23:32:39 INFO mapred.JobClient:     Total committed heap usage (bytes)=265216000
12/12/24 23:32:39 INFO mapred.JobClient:     Combine input records=27
12/12/24 23:32:39 INFO mapred.JobClient:     SPLIT_RAW_BYTES=100
12/12/24 23:32:39 INFO mapred.JobClient:     Reduce input records=26
12/12/24 23:32:39 INFO mapred.JobClient:     Reduce input groups=26
12/12/24 23:32:39 INFO mapred.JobClient:     Combine output records=26
12/12/24 23:32:39 INFO mapred.JobClient:     Physical memory (bytes) snapshot=231952384
12/12/24 23:32:39 INFO mapred.JobClient:     Reduce output records=26
12/12/24 23:32:39 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2097623040
12/12/24 23:32:39 INFO mapred.JobClient:     Map output records=27

期待どおりの動作？。。。動いてよかったよかった。

ついでにソースが見たくなります。

$ jar tvf hadoop-examples-1.1.1.jar
0 Mon Nov 19 10:42:54 JST 2012 META-INF/
156 Mon Nov 19 10:42:52 JST 2012 META-INF/MANIFEST.MF
0 Mon Nov 19 10:42:54 JST 2012 org/
0 Mon Nov 19 10:42:54 JST 2012 org/apache/
0 Mon Nov 19 10:42:54 JST 2012 org/apache/hadoop/
0 Mon Nov 19 10:42:54 JST 2012 org/apache/hadoop/examples/
0 Mon Nov 19 10:42:54 JST 2012 org/apache/hadoop/examples/dancing/
0 Mon Nov 19 10:42:54 JST 2012 org/apache/hadoop/examples/terasort/
1995 Mon Nov 19 10:42:54 JST 2012 org/apache/hadoop/examples/AggregateWordCount$WordCountPlugInClass.class

（中略）

コンパイルされた class ファイルですかが、パスを確認できます。ソースコードは下記にあります。

個々の解説は。。。私が理解できたらですね。大きくいうと、標準クラスを利用している、オリジナルクラスを定義している、main で、引数の確認から Jobtracker への定義、処理の設定、ファイル入出力定義と実行の終了待ち「job.waitForCompletion()」といった感じでしょうか。この処理は、単純集計ですが、複雑な解析が必要になると、IntSumReducer()といった関数の中身が膨大になるでしょうね。また、集計方法に合わせて、Mapを変える必要があるでしょうし、Map、Reduce、In、Out、Map、Reduce、In、Out。。。とJobの設定が長くなっていく予感がします。

$ cat  src/examples/org/apache/hadoop/examples/WordCount.java
package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}

public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println(“Usage: wordcount <in> <out>”);
System.exit(2);
}
Job job = new Job(conf, “word count”);
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}