ここ1,2年で注目を集めているWebサーバnginxについて今回から数回にわたってを紹介していきます。

nginxについて初めて知った、あるいは、名前は聞いたことがあるんだけど使ったことはない、といった方のために、1回目のこの記事ではnginxの概要を、2回目の記事ではインストールと設定について紹介します。

nginxはロシアのIgor Sysoev氏によって開発されているWebサーバ兼リバースプロキシのソフトウェアです。「エンジン エックス」（engine x）と呼びます。

2002年に開発が始まり、2004年に公開され、今では約10%のシェアを持つまでに成長しています。facebookやWordPress.ORGなどの大規模サイトでの導入実績もあり、導入するWebサーバの選択肢の一つとして考えられます。ちなみに、2011年7月には商用サポートやコンサルティングを行う法人Nginx, Inc.が設立されています。

シェア

英国のインターネット サービスの調査会社NETCRAFT社による「January 2012 Web Server Survey」という調査によるとnginxのシェアはトップ サーバでは9.63%であり、Apache、Microsoftに続いて3位となっています。アクティブなサイト数としてはnginxのシェアは12.18%であり、Microsoftを超えて2位となっています。2009年1月のレポートではそれぞれ1.87%、2.85%であることを踏まえると、nginxのシェアが急激に増加していることがわかります。

nginxに関する情報

日本でもこの1,2年で注目度も上がっており、nginxを利用しているサイトも増えています。しかし、ロシアで開発されているため、オリジナルの文書はロシア語であり、英語での文書もそれなりに揃ってはいますが、ロシア語のみの文書も多数あります。しかし、日本語での情報は乏しい状況です。幸いなことに、Clement Nedelcu氏の書籍『nginx HTTP Server』が日本語に翻訳され『ハイパフォーマンスHTTPサーバ nginx入門』として出版されています。この書籍は入門書としての位置づけであり、取っかかりをつかむには良い本でしょう。しかし、実運用上はウェブアプリケーションと連携して利用することがほとんどなのですが、それについて十分な記載があるとはいえません。そのため、本ブログの次回以降ではそのあたりのノウハウやモジュールの機能について紹介していきます。

nginxの特徴

次のような特徴があります。

C10K問題

nginxは「C10K問題」（クライアント1万台問題）に対応したWebサーバです。従来のWebサーバでは同時接続数が増えると、プロセス数やスレッド数が増えて、メモリを食いつぶしたり、コンテキストスイッチのオーバーヘッドが大きくなることにより本来の処理に時間が割けなくなったりします。nginxではマルチスレッドを使わずに、イベント駆動のアーキテクチャを採用することにより、このC10K問題に対応するような仕組みを設けております。このため、メモリの使用量も抑えることができ、メモリが少ないサーバでもそれなりに快適に動作します。

静的なコンテンツを提供するWebサーバ

nginxはWebサーバとして静的なコンテンツを提供します。ファイル記述子の情報をキャッシュするといった性能を上げるための様々な工夫が用意されています。

動的なコンテンツはnginx単体では提供できません。次に述べるようなWebアプリケーションサーバと連携することにより動的コンテンツを提供します。

Webアプリケーションとの連携

nginxではWebアプリケーションを（apacheのmod_phpやmod_wsgiのように）Webサーバ自体に組み込んで動作させることはできません。WebアプリケーションをFastCGIやSCGIやuWSGIに対応したアプリケーションサーバ上で動作させて、ネットワークあるいはUNIXドメインソケットを経由して利用します。PHPの場合はPHP-FPM (FastCGI Process Manager) 上でPHPのWebアプリケーションを動作させて、nginxからはPHP-FPMと通信を行って利用します。

Webアプリケーションとの連携についても性能向上のために次のような機能が用意されています。

キャッシュ。Webアプリケーションサーバから取得したコンテンツをキャッシュできます。

memcached。Webアプリケーション側でコンテンツをmemcachedにキャッシュさせることができるときには、nginxはmemcachedからコンテンツを読み出すことができます。

ロードバランサ。ロードバランサとしての機能を持っており、複数のアプリケーションサーバを利用して負荷を分散することができます。また、利用できなくなったアプリケーションサーバを自動的に外すこともできます。

リバースプロキシ

nginxはリバースプロキシの機能を提供します。

性能向上のために次のような機能も用意されています。

キャッシュ。バックエンドのWebサーバから取得したコンテンツをキャッシュできます。

ロードバランサ。ロードバランサとしての機能を持っており、複数のバックエンドのWebサーバを利用して負荷を分散することができます。また、利用できなくなったWebサーバを自動的に外すこともできます。

機能とモジュール

nginxはモジュールにより機能を拡張できる仕組みになっており、50個近くのモジュールがあります。サードパーティのモジュールもたくさんあり、Wikiサイトで紹介されているものだけでも約80個あります。

たくさんのモジュールがありますが、それらを気軽に利用できるかというとそうではありません。この記事の執筆時点（2012年1月）でのnginxのバージョン（安定版1.0.11、開発版1.1.13）では、ビルドするときにしかモジュールを組み込むことができません。あるモジュールを利用する可能性が少しでもあれば、そのモジュールをビルド時に組み込んでおかないと再びビルドし直すことになります。このため、OSのパッケージ管理システムで提供されているnginxのパッケージではほとんどのモジュールが組み込まれています。 ちなみに、Igor Sysoev氏へのインタビュー記事によると、次のメジャーリリースで起動時にモジュールをロードできるようにする計画があるとのことです。

今回はここまでです。次回はnginxのインストールと設定について説明します。

だいぶご無沙汰ですが、今回もインフラエンジニア向けにちょっとした情報を紹介します。

今回はcacti 0.8.7hでハマったので、その顛末と回避方法を書いておきます。

ハマった事象は 「データ取得は正常だけどrrdファイルが更新されない」 でした。。。

環境

• CentOS 5.6
• apache 2.2.21 (ソースインストール)
• php 5.3.8 (ソースインストール)
• MySQL 5.5.15 (本家謹製rpm)
• cacti 0.8.7h + spine

イケてるtemplateが使いたかったので、better-cacti-templates を使えるように試行錯誤したのでした。

何はなくともログです。ログ。

• cactiのweb管理画面で Settings > General > Poller Logging Level をDEVELにしてログ確認
• pollerの出力をファイルに出してチェック

すると、、、ログに下記の出力がありました。

• CACTI2RRD: rrdtool update <filename> --template 99999:99999
• ERROR: Not enough arguments

前者のほう、よくよく見るとrrdtoolのsyntaxが間違っている。よくよく見ると、本当は--templateの後は引数2つなんです。

rrdtoolのsyntax errorの結果、後者が出力されてました。 このせいでrrdファイルが更新されません。

回避策を探す

とりあえずエラーメッセージでググる。

Poller is missing template parameter according to cacti.log

すると、データ取得スクリプトの余計な空行を削除せよ、とのこと。

さっそくやってみると...効果なし。色々試しても効果なし。効果なし。なし。。

デバッグ

公式のデバッグマニュアルを見ながらデバッグ
manual:087:4help.2debugging - Cacti Docs

1. Check Cacti Log File
2. Check Basic Data Gathering
3. Check Cacti's Poller
4. Check MySQL Update
5. Check RRD File Update

今までの調査で 5. はダメなのがわかっていて、 3. はokなのがわかっているので、 4. を実施。

Check MySQL Update

mysqlの設定を変更して全クエリを出力したのでした。
設定したら、 show variables して結果の確認を忘れずに！

• set global log_slow_queries=On
• set global long_query_time=0;

この状態でpollingが走ると、mysqlに対して実行された全クエリがスローログに出力されます。かなり大量なのでびっくりしてください。

実行されたクエリが取得できたら、データソースのIDを頼りに、 poller_output テーブルにデータを投入している箇所を探します。

INSERT INTO poller_output (local_data_id, rrd_name, time, output) 
VALUES ( データ ), ( データ ), ( データ ), ( データ ), ( データ ), ( データ ), ( データ ) 
ON DUPLICATE KEY UPDATE output=VALUES(output);

このクエリを手動でも実行してみて、データが正常に投入できているかどうか、取得できるかを確認します。

...今回はここは正常でした。明らかにオカシイ。まぁもともとオカシイから調べてるんですが。。。

ソース読み

公式マニュアルのお陰でMySQLが原因ではないことがわかったので、ハラを決めてソースを読みます。

今回はログに CACTI2RRD: rrdtool update 〜 と記載があり、ここがおかしいことはわかっていたので、この CACTI2RRD ととっかかりに調査します。

# find /var/www/cacti/ -type f -name "*.php"|xargs grep -nHi "CACTI2RRD"
/var/www/cacti/lib/rrd.php:80:          cacti_log("CACTI2RRD: " . read_config_option("path_rrdtool") . " $command_line", $log_to_stdout, $logopt);
/var/www/cacti/lib/rrd.php:399:                         cacti_log("CACTI2RRD: " . read_config_option("path_rrdtool") . " tune $data_source_path $rrd_tune");

2箇所しかない！ということで、rrd.phpを見てみます。

• rrdtool_execute 関数の中で呼ばれているのがクサい
• → rrdtool_execute と update の組み合わせで呼ばれている行を探す
• → rrdtool_function_update がクサい
• → 呼んでいる箇所を探す。同じファイルにはないのでfindとxargsを組み合わせて探す
• → /var/www/cacti/lib/poller.php でしか呼んでない
• → /var/www/cacti/lib/poller.php を該当箇所からさかのぼって読む。読む。
• → 実行されているはずのSQLが実行されていない！
• → 分岐がおかしい！
• → is_hexadecimal関数の結果がおかしい！
• → 定義されている箇所が見当たらないのでfindとxargsを組み合わせて探す
• → lib/functions.phpにあった！

と、いうわけで、 lib/functions.php の is_hexadecimal 関数を修正して対応完了。

コーディングミスで複数値対応ができなくなっていたようです。
(推測ですがipv6対応したかったもよう)

SVNみてみる

最新版(0.8.7のHEAD)では直ってる...

rev 6251→6252(2011/1/29)でエンバグして、rev 6850→6851(2011/10/9)に改修されてました。

まとめ

オープンソースでよかった。

今回もインフラエンジニア向けにちょっとした情報を紹介します。

インフラエンジニアをしていると、なんだかんだとメールを解析して処理をしたいシーンって多いですよね。
でも日本語のメールって色々大変ですよね。

特に大変なのがヘッダ部分。
ヘッダ部分はエンコードされていたり、長いと複数行にまたがったり、複数行の場合はデコードして結合してから処理したり・・・

今回はそんなあなた(=私)向けに、日本語メールのメールヘッダをうまく取り扱う方法を紹介します。

第一引数にメールファイルのパスを指定すると、 From, To, Subjectを取得して表示します。

例: python mail_header_decoder.py hoge.eml

#!/usr/bin/env python
#coding: utf-8

from email.Header import decode_header
from email.Parser import Parser
from sys          import argv,stdout
import re

NEWLINE=re.compile(r'(\r|\n|\r\n)$')
DEFAULT_ENCODING='iso-2022-jp'

def decode_header_multiline(message=None,name='',encoding=None):
    str_encoded=''
    for str_line in NEWLINE.split(message.get(name)):
        decoded_headers=decode_header(str_line)
        for parts in decoded_headers:
            str_encoded = str_encoded + parts[0]
            if encoding == None and  not parts[1] == None:
                encoding=parts[1]
    encoding=DEFAULT_ENCODING if encoding == None else encoding
    return str_encoded.decode(encoding)

def main():
    msg=Parser().parse(open(argv[1]))
    header_from   =decode_header_multiline(msg,'From')
    header_to     =decode_header_multiline(msg,'To')
    header_subject=decode_header_multiline(msg,'Subject')
    result="From: %s, To: %s, Subject: %s"%(
        header_from,
        header_to,
        header_subject,
        )
    stdout.write(result.encode('utf-8'))
    stdout.write('\n')

if __name__ == '__main__':
    main()

※Python 2.6.1で動作確認しています。
　デコード周りが若干怪しいような気がしないでもないですが、 　動作確認する限りはこれでうまく動いています。

今回もインフラエンジニア向けにちょっとした情報を紹介します。

今回は、先日参加した レッドハットフォーラム 2010 で紹介されていた cgroups について紹介します。

※注：ざっくりとした理解で書いているので、誤りがあれば指摘してもらえると嬉しいです！

ここが理解が違う、こんな使い方もあるよ！などの情報は、twitterで @heartbeatsjp @hbstudy @toshiak_netmark あたりに教えてもらえると嬉しいです。

cgroupsは Control Groupsの略で、 Linux kernelに組み込まれているリソース割り当て管理機能です。

「期待の新機能」とかタイトルつけましたが、 マージされたのは2.6.2xの頃のようなのでかなり時間は経っていますね。
RHEL的に新機能なので、ご愛嬌ということで。

プロセス(プロセスグループ)ごとに、下記のリソースの割り当てを変更できます。

• CPU
• メモリ
• ディスクI/O
• ネットワークI/O

ざっくりとした使い方

Linuxなので、ファイルベースで管理します。

1. cgroupファイルシステムをマウントして
2. cgroupを作成して
3. CPU、メモリなどのリソース割り当てを定義して
4. PIDをcgroupに登録する

といった感じです。

詳しくは 公式ドキュメントの1.5 How do I use cgroups ? を見てください。

使い方は 2. Usage Examples and Syntax にとても丁寧に書いてあります。

使いどころ

レッドハットフォーラム 2010の会場でも宣伝していましたが、 KVMを利用した仮想化基盤でのリソース割り当て管理に最適です。

いままで難しかった「VMごとのディスク・ネットワークI/O制御」がついに実現します！

スゴいでしょう？スゴいですよね？スゴいんですよ。

詳しい情報

公式ドキュメントを読みましょう ;)

http://www.kernel.org/doc/Documentation/cgroups/cgroups.txt

最新のLinux kernelにはマージされていますが、 RHEL/CentOS 5.xでは利用できないようです。

RHEL6では利用できるそうなので、これからが楽しみですね。

今回もインフラエンジニア向けにちょっとした情報を紹介します。

今回は一部で話題になっていた「Proxy越しのDigest認証」について、 ちょっとしたコツがあるのでノウハウを公開します。

• Digest認証は、認証情報の中にURIを保持しています
• Digest認証では、 mod_auth で 「リクエストされたURI」 と 「認証情報の中のURI」 の整合を確認しています

と、いうことです。

なので、backendサーバで mod_auth が認証処理をする時に、 「リクエストされたURI」 と 「認証情報の中のURI」 が一致している必要があります。

大抵の場合、次の図の構成になっていると思いますが、

これを、次の図のように変えることで両立させることができるようになります。

ポイントは、RewriteするときにPT(PassThrough)を指定することです。
このフラグ指定により、 mod_proxy 通過後に mod_auth に渡されるリクエストURIが、 元(=backendが受け取ったそのもの)のままになります。

　RewriteRule ^/proxied/(.*)$ /origin/$1 [PT]

別解として、proxyで認証情報をいじる方法(できればそのほうが設定が楽)もありそうですが、 まずは1つの方法として公開しておきます。

今回もインフラエンジニア向けにちょっとした情報を紹介します。

今回は「覚えておきたいbashシェルスクリプトのオプション」です。

便利なものを3つ紹介します。

これを覚えておけば、シェルスクリプトとの付き合いが楽になること間違いなし！

まず1つめはeオプションです。

使い方としては
bash -e shellscript.sh
のように使います。

このオプションの効果ですが、man bashによると

-e オプションが与えられた場合、返り値は最後に実行されたコマンドの返り値となるか、あるいはコマンドの一時ファイルでエラーが起きた場合には偽となります。2番目の形式を用いた場合、終了ステータスは再実行されたコマンドの終了ステータスとなります。

とのこと。。。よくわかりませんね。

平たく言うと、シェルスクリプトの一連の動作の中でエラー(exit codeが0以外)が発生した場合に、 そこで 終了してエラーを報告 してくれます。
これはシェルスクリプト群でのエラー処理に活用できます。

子シェル・孫シェルを使えば、 エラーが起きたら処理を中断してエラー処理(メールするなど)なども簡単に書けます。

例(バッククォートがうまく出なくて全角にしてます):

#!/bin/bash


MAILTO="hoge@example.com"

RESULT=｀bash -e main.sh｀
if [ $? -ne 0 ]
then
    echo "${RESULT}"| mail -s "error at ｀hostname｀" ${MAILTO}
fi

その2: xオプション

2つめはxオプションです。

これは
bash -x shellscript.sh
のように使います。

このオプションの効果ですが、man bashによると

-x 単純なコマンドをそれぞれ展開した後、PS4を展開した値を表示し、その後にそのコマンドと展開した引き数を表示します。

とのこと。。。やっぱりよくわかりませんね。

これは一言でいうと デバッグモード です。
シェルスクリプトで実行した結果を逐一表示してくれます。
実行してみれば、ぱっとみで何が起きているかすぐわかるので、ぜひやってみて体験してください。

その3: norcオプション

3つめはnorcオプションです。

このオプションの効果ですが、man bashによると

--norc シェルが対話的動作を行う場合に、個人用初期化ファイル ~/.bashrc の読み込み・実行を行いません。シェルがshとして起動された場合には、このオプションはデフォルトで有効になります。

とのこと。

動作環境を安定させる意味でも、設定が環境に影響されるのは避けたいところです。
このnorcオプションとrcfileオプションを適切に指定することで、 安定した環境でシェルスクリプトを動作させる ことができます。

ここでは3つ紹介しましたが、他にも便利なオプションがいっぱい！
続きは man bash してくださいね！

ちょっと、いや、かなり間が空いてしまいましたが、今回もインフラエンジニア向けにちょっとした情報を紹介します。

先日hbstudy#13が開催されました。

奥野さんからお話しいただいた「Art Of MySQL Replication」の中で紹介されていた、Blackholeストレージエンジンの活用のところで目からウロコだったので、補足してみます。

Blackholeストレージエンジンの活用方法としては、以下のものが有名でしょうか。

1. クエリをキューイングする
2. 暖気運転する
3. UDF(ユーザ定義関数)を利用して、Slave側でのみ処理を実行する

1.については、書籍「4Gbpsを超えるWebサービス構築術」に解説されてますし、 2.についてはhbstudy直後に割と話題になっているので、 3.について紹介してみます。

といっても、やっていることは簡単で、 紹介されている通りmemcachedのデータ更新を セミリアルタイムで実施するためのしくみとして活用しているようです。

うまく利用すれば、ランキングデータの更新/参照など リアルタイム性の高いデータの更新/参照をうまく制御できるようになりそうです。

※実は常識だったらスミマセン

• データが欲しい時、まずmemcachedをチェックする
• memcachedにデータがない場合のみ、DBに問合せする

プログラムからのデータ更新の流れは下記の通りになります。

1. プログラムがDBにデータを登録(insert/update)
2. UDFを実行(トリガーにすることで自動化できる)
3. memcachedに最新データが登録される

全slaveでUDFを実行しても無駄な可能性が高いので、 特定のslaveでのみ実行するUDFを作成するなど、 UDF側で工夫が必要そうです。

また、上記前提のプログラムだと、 memcachedでミスヒットしたタイミングで DBに大量のクエリが発行される可能性があるので、 それを抑える仕組みを別途用意したほうがよさそうです。

例えば、データ取得は個々のプログラムインスタンスが行うのではなく、 API化してキューイングして特定商数のインスタンスが担当するなどなど。

と、いうわけで、目からウロコのUDF+Blackhole。 みなさまぜひ使ってみてください。

参考

• Facebookのデータセンターに見るMySQL活用事例 - MySQLカンファレンス
• 勝手に図解するmemcached

apache2.2から導入されたmod_proxy_balancer 、便利ですよね。
今回はそのmod_proxy_balancerでsorryサーバを実現する方法を紹介します。

BalancerMemberの指定時に、statusを指定することで実現します。

1.2.3.4、1.2.3.5がサービスのサーバで、1.2.3.6がsorryサーバの場合は下記のように設定します。

 ProxyPass / balancer://hotcluster/
 <Proxy balancer://hotcluster>
     BalancerMember http://1.2.3.4:8009 loadfactor=1
     BalancerMember http://1.2.3.5:8009 loadfactor=2
     # The below is the hot standby
     BalancerMember http://1.2.3.6:8009 status=+H
     ProxySet lbmethod=bytraffic 
 </Proxy>

・・・と、公式ドキュメントに書いてあります。公式ドキュメントは偉いですね。
※日本語版には書いてありませんので、英語版を読みましょう！※

from Apache 2.2 Document / ProxyPass Directive

パラメータで色々と細かく設定できますのでご参考まで。

今回はA1、A2など、普通のプリンターでは対応していない大きなサイズの図や画像を印刷する方法をご紹介します。

ポスター展示の作成や、A3/A4では細かくて見えない大きな図を印刷するのに有効です。

プリンタの機能で「ポスター印刷」や「タイル印刷」と呼ばれるものがあればそれを使います。 また、Acrobat(Readerではないほう)の機能でもタイル印刷が可能なようです。
しかし、ウチにはそんな贅沢!?なものはありません。

と、いうわけで、工夫でなんとかしてみましょう。

1. 画像に変換する

まず、なんとかして図を画像に変換します。

元ネタがOpenOffice DrawやMicrosoft Visioなどの場合、名前をつけて保存やエクスポートで画像を出力できます。

このとき、サイズは大きいままでokです。

2.(Windows) ペイントで開く

出力した画像をおもむろにペイントで開きます。

3.ページ指定する

メニューから ファイル ＞ ページ設定 を開きます。

• 用紙＞サイズ: A3
• 印刷の向き: 横
• 余白: 適宜調整
• 拡大縮小＞適合 1 x 2 ページ

上記を設定してOK。

4.印刷

印刷してみましょう。

はい、簡単ですね。
あとはカッターや裁断機でキリハリしてください。

※もっと楽な/スマートな方法をご存知の方は教えてください！

今回はコマンドラインの操作を10倍速くして、コマンドラインを楽しくTipsをご紹介します。
もちろん独断と偏見で選んでいます。
これから挙げる5つのコマンドを覚えるだけで、コマンドライン操作は10倍（当社比）速くなります！
この5つを使っていない人が周りにいたら、ぜひ教えてあげましょう！

諸注意

• ショートカットキー表記の+は同時押しの意味です。
• bashで動作確認しています

コマンドラインで↑またはCtrl+pを押すと、直前に実行したコマンドを呼び出すことができます。

baba@dynass:/$

この状態でコマンドラインで↑またはCtrl+pをタイプすると・・・

baba@dynass:/$ tail /var/log/messages

直前に実行したコマンドが表示されます。
この状態で更に↑またはCtrl+pをタイプすると・・・

baba@dynass:/$ cat /etc/resolv.conf

さらにその前のコマンドが表示されます。

• 何度も同じコマンドを入力するとき、前のコマンドを少し修正して使いたいときにとても便利です
• 後述の行頭移動や行末移動と合わせて利用するとすばらしい！

補完：TAB

コマンド名、パスは、ちょっと打ってTABキーをタイプすると補完できます。

1. 入力ミスがなくなる
2. タイプ数が少なくなる

という2つの利点があるのでぜひ常用してください。

baba@dynass:/$ ls /u

この状態でTABをタイプすると・・・

baba@dynass:/$ ls /usr/

こうなります。

ちなみに、候補が複数ある場合、TABキーを2回タイプすると候補が表示されます。

baba@dynass:/$ ls /m

この状態でTABを2回タイプすると・・・

baba@dynass:/$ ls /m
media/ mnt/   

こうなります。

履歴探索：Ctrl+r

コマンドラインで実行した履歴を一瞬で探索できます。
コレを覚えると操作が冗談ではなく10倍速くなります！

baba@dynass:/$ 

この状態でCtrl+rと打つと・・・

baba@dynass:/$ 
(reverse-i-search)`': 

履歴探索モードに入ります。
このまま、実行したコマンドラインの一部をタイプすると・・・
（今回はtaとタイプしました）

(reverse-i-search)`ta': tail -f /var/log/cron

一番近い履歴が表示されます。 この状態で更にCtrl+rをタイプすると・・・

(reverse-i-search)`ta': tail -f /var/log/messages

遡って探索してくれます。
この状態でTABをタイプすると、コマンドラインに過去のコマンドが入力された状態になります。

baba@dynass:/$ tail -f /var/log/messages

そうしたらEnterをタイプして実行しましょう。

設定ファイル編集→デーモンの再起動→ログ確認 などを繰り返す場合、この履歴探索を使うと操作が圧倒的に速くなります。

• このCtrl+rと、次のCtrl+a、Ctrl+eを組み合わせると更にコマンドライン操作が楽になりますよ！
• うまく探索できなかった、遡りすぎてしまった場合には、Ctrl+cでいったんリセットしましょう

カーソル移動：Ctrl+a, Ctrl+e

• Ctrl+a：カーソルを行頭に移動する（Homeキーと同じ）
• Ctrl+e：カーソルを行末に移動する（Endキーと同じ）

履歴探索結果からスタートしてみましょう。

(reverse-i-search)`ta': tail -f /var/log/messages

この状態で、Ctrl+eをタイプすると・・・

baba@dynass:/$ tail -f /var/log/messages

カーソルが行末に移動します。
そのままパイプしてgrepにつなげたりできます。便利！

baba@dynass:/$ tail -f /var/log/messages | grep kernel

行頭移動を使うと、同じファイルに対して利用するコマンドを簡単に変更できます。
ぜひ利用してください！