Usoinfo blog

いつも忘れてしまうのでメモ。
指定ディレクトリ以下の特定のファイルを全てchmodしたりchownしたりする。

find ./ -name \*.phps -type f -exec chmod 664 {} \;

　現代の黒魔術、mod_rewriteは万能である。
　正規表現と置換だけでも万能だが、更に黒い魔術として、入力をユーザー独自のプログラムに渡して書き換えることができる、RewriteMapというのがある。

　厳密には、RewriteMapは独自プログラムに渡すと言うよりは、マップテーブルを用意しておいてそこから選ぶもので、その拡張機能としてプログラムに渡すというものがあるのだろう。まあ来歴はどうでもいいが、これを使うと正規表現では書けないような妙ちきりんな書き換えもできる。例えばUTF-8エンコードされたクエリーをデコードしてSJISに変えてまたエンコードしたものにする、とか、特定のファイルが存在していたら書き換え、とか。

　まず、Apacheのconfigファイルに例えばこのように書く。

RewriteEngine on
RewriteLock /tmp/rewritemap.lock
RewriteMap myprog prg:/usr/local/bin/url_rewriter.php
RewriteRule ^/rewrite/(.*)$ /test/${myprog:$1}

　RewriteLockはロックファイルの場所で、どこでも良い。但し、VirtualHostの中には置けないようなので、一番上に書く。
　"RewriteMap プログラム名 prg:プログラムのパス"で、プログラムの場所を指定し、RewriteRule中の ${プログラム名:入力} が、プログラムによって置換される。
　
　さて、問題のプログラムである。
　どういう仕組みになっているかと言うと、mod_rewrite側は標準入力に入力を入れてきて、プログラム側は標準出力に書き換え結果を出力する。のであるが、このプログラムは、Apacheの起動時に書き換え用のプロセスが１つ立ち上がり、プロセスはずっと走りっぱなしになっているのである。アクセス毎に起動されるわけではなく、プログラム中では、（一般的には）標準入力をブロッキングI/Oで読み続けるループにする必要があるのであった。
　従って例えば、url_rewriter.phpはこんな感じになる。
　

#!/usr/local/bin/php
<?php
	$fin	= fopen("php://stdin",'r');
	while(!feof($fin)){
		$read	= fgets($fin);
		
		$out	= ここで$readに応じて書き換え処理...;

		$fout	= fopen("php://stdout",'w');
		$out	.= "\n";
		fwrite($fout, $out);
		fclose($fout);
	}
	fclose($fin);
	// ※入出力はSTDINとechoを使ってもいいが、分かり易さでphp://とした。
?>

　mod_rewriteからは、stdinに入力内容+"\n"が来る。この入力をfgetsで取って、書き換えた結を"\n"で終端してstdoutに返す。終わったら次の入力に備える。と、こういう次第である。

既存のデータベース/テーブルの、CREATE文を取得する方法。メモってたCREATE文をロストしたとか、他人の作ったテーブルで中身がよくわからん、と言った時に使えるかも。（mysqldump を --no-data で走らせてもいいけどな）

・既存のデータベース中にどんなテーブルがあるか調べる
SHOW TABLES で、データベース内のあるテーブル名のリストが取れる。

mysql> SHOW TABLES;
+------------------------------------------+
| Tables_in_usodb                          |
+------------------------------------------+
| attacker_ahoaho                          |
| abyorn_hogehoge                          |
  :
+------------------------------------------+
206 rows in set (0.01 sec)

mysql>

・テーブルのCREATE文を取得する
SHOW CREATE TABLE (tbl_name) で、そのテーブルのCREATE文が取れる。

mysql> SHOW CREATE TABLE zenra_config\G
*************************** 1. row ***************************
       Table: zenra_config
Create Table: CREATE TABLE `zenra_config` (
  `zenraid` varchar(64) CHARACTER SET sjis COLLATE sjis_bin NOT NULL,
  `title` varchar(512) CHARACTER SET sjis COLLATE sjis_bin DEFAULT NULL,
  `text` mediumblob,
  `remark` varchar(512) CHARACTER SET sjis COLLATE sjis_bin DEFAULT NULL,
  PRIMARY KEY (`zenraid`),
  CONSTRAINT `fk_znrcfg_aid` FOREIGN KEY (`zenraid`) REFERENCES `zenra_pri` (`zenraid`) ON DELETE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=sjis
1 row in set (0.00 sec)

mysql>

・というわけで、この２つを使ってこんなスクリプトを書けば、データベース内のテーブルのCREATE文を浚ってくれる。

#!/bin/sh

# mysqlコマンドと引数
SCRIPT_MYSQL="mysql -p[YOUR_PASS] -u [YOUR_NAME] [YOUR_DB]"

# 出力ファイル
FILE_CREATES=tablecreatesql.txt

rm -f ${FILE_CREATES}

for t in `echo "SHOW TABLES" | ${SCRIPT_MYSQL}`
do
	echo "SHOW CREATE TABLE $t\G" | ${SCRIPT_MYSQL} >> ${FILE_CREATES}
done

　先日、やたらと安いドライブレコーダーを買ったのである。3000円くらいの、こんな感じのドライブレコーダーのうちのひとつである。性能も機能もお値段なりだが、エンジン掛けると勝手に録画開始、エンジン切ると勝手に録画終了なので、案外便利である。

　さて、そのドライブレコーダーはファイル循環式で、最長15分経つと、ファイルが切れて次のファイルに行くようになっている。つまり、まず PICT001.AVI が録画され、15分後に PICT002.AVI に移る、という具合で、1時間走れば4本、2時間走れば8本の動画ファイルができあがる。そこで、このファイルを１つに繋げたいところであるが、動画編集をするソフトを使えばすぐだが、ソフトを買ってまでするほどのことでもないし、編集ソフトでやるのはいちいち操作が必要で面倒。できればコマンドラインでやってしまいたい。
　そこで、フリーのFFmpegを使って、複数の動画ファイルを１つにコンカチする手順。いろいろと試行錯誤の末、次のような手順に落ち着いた。
　
　1. まず、単純結合可能なmpgコンテナに、データを変換する
　例: PICT001.AVI, PICT002.AVI, PICT003.AVI があるとして、

ffmpeg -y -i PICT001.AVI -sameq PICT001.mpg
ffmpeg -y -i PICT002.AVI -sameq PICT002.mpg
ffmpeg -y -i PICT003.AVI -sameq PICT003.mpg

　2. mpg に変換したファイルをつなげる
　Linuxの人は cat でどうぞ。

copy /b PICT*.mpg temp.mpg

　3. このままだとタイムスタンプがおかしいらしいので、修正する
　この状態だと、ファイルの再生時間長などが正しく表示されない（VideoLANなどで見てみると分かる）。次のオプションでもう一度変換すると、正しくなるようである。

ffmpeg -y -i temp.mpg -same_quant -dts_delta_threshold 1 PICTALL.mpg

　
　4. 結合した修正済みデータを、希望のエンコーダーで変換する
　そのまま使うなら別にこのままでもよいが、映像:Xvid 1200k 15fps、音声:mp3 64kbps の例。

ffmpeg -y -i PICTALL.mpg -vcodec libxvid -b:v 1200k -r 15 \
-acodec libmp3lame -ab 64 -ar 44100 \
PICTXVID.avi

　あとは、PHP For Windowsあたりを使ってスクリプトを書けば、D&Dで結合＋再変換まで自動で処理できるようになる。
　続きを読む

　Google MapのAPIに、Google Static Maps APIというものがある。データを埋め込みにして、静的な地図を生成するものである（static mapだから当然だが）。このAPIでも、地図上に直線（パス）を引けるのだが、線を引くためのデータはURL中に埋め込む（GETメソッドで引き渡す）ので、含められるパスのポイント数には上限がある。
　で、渡せるポイント数を多くするため？に、Googleがポリラインエンコード(http://code.google.com/intl/ja/apis/maps/documentation/utilities/polylinealgorithm.html)という方法を提供している。ざっくり言うと差分値をエンコードして並べ、クエリ文字数を短縮しようというようなことである。
　
　どんなものかは上記URLの先にあるドキュメントに書いてある。しかも結構丁寧に書いてあるのでわかりやすい。ここまで丁寧にしてくれるなら、いっそサンプルコードかライブラリを提供してくれればいいのにな、とも思わなくもない。

　ということで、ポリラインエンコードをするコードを作っていたので、サンプルを貼っておくと誰かがコピペで使えるのではないか、と。（サンプルソースのファイルはこちら。中身はいっしょ。）

// 配列に入った緯度経度をポリラインエンコードする
// １つのポイントは array(緯度10進数,経度10進数) の形式
// ポイントを array( ポイント, ポイント, ... ) で列挙
function latlon2GooglePolyline($data)
{
    $plat    = false;    // 1つ前の緯度
    $plon    = false;    // 1つ前の経度

    foreach($data as $point){
    // 初回以外は差分を取る
        $lat    = $plat !== false ? $point[0] - $plat : $point[0];
        $lon    = $plon !== false ? $point[1] - $plon : $point[1];
        
        // 緯度と経度をポリラインエンコードしてクエリに追加
        $query    .= GooglePolyline_Encode($lat).GooglePolyline_Encode($lon);

        $plat    = $point[0];
        $plon    = $point[1];
    }

    return $query;
}

// 単体の緯度または経度をポリラインエンコードする
// 入力値 $value は10進数の緯度または経度
function GooglePolyline_Encode($value)
{
    $value    = ($value * pow(10,5)) << 1;    // ステップ2,3,4: 10^5を掛け左1ビットシフト
    if( $value < 0 ) $value = ~$value;        // ステップ5: 元の数値が負の時はビット反転

    //ステップ6,7: 下位から5ビットずつ切り出す（逆順になる）
    for($i=0;$i<6;$i++){
        $arr[$i]    = $value & 0x0000001F;
        $value    = $value >> 5;
    }
    
    // 不要なバイトを取り除く（上位で0が続く間そのバイトは除去、但し0の時は1バイト残す）
    while( $arr[ count($arr)-1 ] === 0 && count($arr) > 1 ){
        array_pop($arr);
    }

    //ステップ8: 最下位バイト以外に後続ビットを立てる（0x20論理和を加算）
    for($i=0;$i<count($arr)-1;$i++){
        $arr[$i]    |= 0x20;
    }

    //ステップ9,10,11: 各バイトに63を加算してASCII文字に変換
    $ret    = '';
    for($i=0;$i<count($arr);$i++){
        $ret    .= chr($arr[$i]+63);
    }
    return $ret;
}

// テスト用データ・山手線各駅の緯度経度
$data    = array(
    array(35.619772,139.728439),
    array(35.625974,139.723822),
    array(35.633923,139.715775),
    array(35.646685,139.710070),
    array(35.658871,139.701238),
    array(35.670646,139.702592),
    array(35.683061,139.702042),
    array(35.689729,139.700464),
    array(35.700875,139.700261),
    array(35.712677,139.703715),
    array(35.720476,139.706228),
    array(35.730256,139.711086),
    array(35.731586,139.728885),
    array(35.733445,139.739303),
    array(35.736825,139.748053),
    array(35.737781,139.761229),
    array(35.731954,139.766857),
    array(35.727908,139.771287),
    array(35.721484,139.778015),
    array(35.713790,139.777043),
    array(35.707282,139.774727),
    array(35.698547,139.773091),
    array(35.691173,139.770641),
    array(35.681391,139.766103),
    array(35.675441,139.763806),
    array(35.666151,139.758654),
    array(35.655391,139.757135),
    array(35.645736,139.747575),
    array(35.628760,139.738999),
    array(35.619772,139.728439)
);

// テスト用データをポリラインエンコードしてURLを出力（実際は改行は入っていない）
echo "http://maps.google.com/maps/api/staticmap?sensor=false&
size=640x640&maptype=roadmap&path=color:0x0000ffFF%7Cweight:
5%7Cenc:".latlon2GooglePolyline($data)."\n";

　実行すると、こんな感じで出力される（実際は改行は入っていない）。

$ php polylineencode.php
http://maps.google.com/maps/api/staticmap?sensor=false&size=640x640&maptype=roadmap&
path=color:0x0000ffFF%7Cweight:5%7Cenc:q~kxEuuysYwe@x[sp@fq@wnArb@ckAdv@qhAmGqlAlBsh
@xHsdAf@whAqTuo@uNa|@i]iGenBqJa`AaTsu@}DiqAjc@cb@fXuZbg@_i@`o@`Erg@lMpu@dI`m@fNb|@h[
bd@hM`y@d_@dbAlHh{@tz@`iBpt@bw@|`A

　このままIMGタグに張り込むと、こうなる（クリックで原寸）。


　というわけで、Usoinfo GPSログトレースマップ、緯度経度トレースマップを、Google Mapsに対応。地形図とか航空写真をプロットしてみると、これはこれでなかなか面白い。

なんてことはないコード集。PHPで変数の中身をバイナリダンプする。

function binary_dump($in)
{
	$bindata	= unpack("C*", $in );
	$ret		= "";
	foreach($bindata as $v){
		$ret	.= sprintf("%02x ",$v);
	}
	return $ret;
}

pack()でunsigned charで分割して配列に格納し、端から出力しているだけである。
マルチバイト出力例。

$sjis	= "バイナリダンプ";
$utf8	= mb_convert_encoding($sjis,"UTF-8","SJIS");
echo "SJIS:".binary_dump($sjis)."\r\n";
echo "UTF8:".binary_dump($utf8)."\r\n";

$ php dump.php
SJIS:83 6f 83 43 83 69 83 8a 83 5f 83 93 83 76
UTF8:e3 83 90 e3 82 a4 e3 83 8a e3 83 aa e3 83 80 e3 83 b3 e3 83 97

usoinfo逆ジオコーダーの住所データを、2010(平成22)年度のものに更新しました。

Web版 http://usoinfo.if.land.to/osmtool/latlon2addr.php
Windowsアプリケーション版 http://www23.atpages.jp/usoinfo/urgeocoding.html

今後ともよろしくどうぞ。

なんてことはないコード集。バーコードなどに使われているチェックデジットを計算するルーチン。

JANで使われるモジュラス10ウェイト3-1。

function modulus10w31($num)
{
	$arr = array_reverse(str_split($num));
	for($i=0;$i<count($arr);$i++){
		$t	+= ( ($i+1) % 2) == 0 ? intval($arr[$i]) : intval($arr[$i])*3;
	}
	$cd	= 10 - intval( substr($t,strlen($t)-1,1) );
	return $cd > 0 ? 10 - $cd : 0;
}

ついでにモジュラス16。

function modulus16($str)
{
	$maparr = str_split('0123456789-$:/.+ABCD');
	$inarr	= str_split($str);
	$t	= 0;
	for($i=0;$i<count($inarr);$i++){
		$t	+= array_search( $inarr[$i], $maparr);
	}
	return $maparr[ 16-($t % 16) ];
}

おまけでモジュラス43。

function modulus43($str)
{
	$maparr = str_split('0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ-. $/+%');
	$inarr	= str_split($str);
	$t	= 0;
	for($i=0;$i<count($inarr);$i++){
		$t	+= array_search( $inarr[$i], $maparr);
	}
	return $maparr[ ($t % 43) ];
}

使うときは入力値のvalidationを加えてください。

※モジュラス10ウェイト3-1の最後の桁が0のとき間違いがあったので修正(2011/12/03)

　Jpeg(画像データ)の含まれたPDFを画像データに変換したい。多分よくある話である。
　方法はいろいろあると思うが、Xpdfを使うのが手っ取り早そうだ。

　http://www.foolabs.com/xpdf/download.html から、コンパイル済みバイナリのzipを持ってくる。(Linuxならばtgzを持ってくるか、RPMForgeからxpdfをインストールしてもいい。)
　ダウンロードしたら解凍。いくつかコマンドが出てくるが、JPEGを引っこ抜くには、pdfimages を使用するようである。

Microsoft Windows [Version 6.1.7601]
Copyright (c) 2009 Microsoft Corporation.  All rights reserved.

C:\xpdf\xpdfbin-win-3.03\bin64>pdfimages.exe -j C:\source.pdf .\

C:\xpdf\xpdfbin-win-3.03\bin64>

C:\source.pdf というファイルからjpegを抜いて、カレントのフォルダにに置く時の例。

Tinycoreをサーバにしようと思う人がどれくらいいるのか分からないが、sshdを使えるようにする手順。
使用したのはTinycore 3.6。

1. openssh.tcz をインストール
Apps から検索して入れてもいいし、tce-load -wi openssh.tcz してもよい。必要な他のtczも勝手に入るはず。

2. sshdのための設定
動作に必要な sshd_config を作成して必要なら編集、ホスト鍵を作成する。

tc@box:~$ sudo sh
root@box:/home/tc# cd /usr/local/etc/ssh
root@box:/usr/local/etc/ssh# cp sshd_config.example sshd_config
(※必要であれば sshd_config を編集する)
root@box:/home/tc# /usr/local/etc/init.d/openssh start
Generating public/private rsa key pair.
...(略)
(※一度sshdを実行してホスト鍵を作成しておく)

3. sshdでログインするユーザーを作成
adduser でユーザーを作成する。ログイン名はお好みで。RSA認証だけで使う場合にはパスワードを付ける必要はない。その辺はお好みで。

root@box:/home/tc# adduser usost
Changing password for usost
New password:
Retype password:
Password for usost changed by root

この状態で、/etc/passwd, /etc/shadow にアカウント情報ができるので、メモする。
こんな感じでgrep。

root@box:/home/tc# grep usost /etc/passwd
usost:x:1000:1000:Linux User,,,:/home/usost:/bin/sh
root@box:/home/tc# grep usost /etc/shadow
usost:$1$RPG9zR3i$pxjWO47JkotnvIpfni6Fo/:15136:0:99999:7:::

これを元に、ブート時にユーザーを足すスクリプトを作る。グループは(面倒なので)0にしてあるが、別のものでもいい。sudoersの設定も、必要なら、特定のものだけ許可するようにした方がいいかも。

root@box:/home/tc# vi /opt/userinit.sh
----
#!/bin/sh
# /opt/userinit.sh
# add user on boot.

echo 'usost:x:1000:0:Linux User,,,:/home/usost:/bin/sh' >> /etc/passwd
echo 'usost:$1$RPG9zR3i$pxjWO47JkotnvIpfni6Fo/:15136:0:99999:7:::' >> /etc/shadow
echo 'usost ALL=NOPASSWD: ALL' >> /etc/sudoers
----
root@box:/home/tc# chmod 755 /opt/userinit.sh

4. 自動起動するように設定
ユーザー追加スクリプトと、sshd起動スクリプトを、ブート時に実行するように /opt/bootlocal.sh に書いておく。

root@box:/home/tc# vi /opt/bootlocal.sh
----
#!/bin/sh
# put other system startup commands here

/opt/userinit.sh
/usr/local/etc/init.d/openssh start
----

5. 設定ファイルを保存するようにしておく
このままだと、sshd_configやホスト鍵、作成したユーザー追加スクリプトも忘れてしまうので、保存するように /opt/.filetool.lst に書いておく。

root@box:/home/tc# vi /opt/.filetool.lst

opt/userinit.sh
usr/local/etc/ssh
の２行を追加。

6. Exit でリブート
これで、自動的にsshdが上がり、作ったユーザーでログインできるようになっているはずである。
sshdが上がってないときは、ホスト鍵、sshd_config を忘れていないか(/opt/.filetool.lst)確認。
sshdは上がっているけどログインできない時は、ユーザーが正しく追加されているかどうか確認。

---

　ついでに、Tinycore 3.6では、カーネルのブートオプションに kmap=jp106 をつけても、キーマップ変更はコンソールだけで、Xのキーマップは変わらないようである。
　Xでもjp106キーマップにするには、kmap.tcz をインストールした上で、/opt/bootlocal.sh にloadkmapを書いておくとよいようだ。合わせると、bootlocal.shはこんな感じ。

tc@box:~$ tce-load -wi kmap.tcz
tc@box:~$ vi /opt/bootlocal.sh
----
#!/bin/sh
# put other system startup commands here
loadkmap < /usr/share/kmap/qwerty/jp106.kmap

/opt/userinit.sh
/usr/local/etc/init.d/openssh start
----