yuan-jiu blog

MSYS2のiconvではJISX0213が変換できない

Mon, 10 Oct 2016 18:11:40 +0900

JISX0213の文字集合をコード変換する必要があって、MSYS2にパッケージとして入っているiconvの、対応する符号化方式を調べてみました。
minttyでiconv --listとしましたが、お目当てのEUC-JISX0213, Shift_JISX0213が出てきません。どうやら、MSYS2でパッケージ化されているiconvでは扱えないようです。
GNUのサイト(https://www.gnu.org/software/libiconv/)を見ると、--enable-extra-encodings のオションを付けてビルドすれば良いようです。
OracleのVertualBoxにDebian8をインストールしているので、そちらを起動して仕事は済ませましたが、不便なので自前でiconvをビルドすることにしました。
以下は、その時の記録です。

1) libiconv-1.14.tar.gz をダウンロード
2) 任意のフォルダに展開(私の場合は/c/Temp)
3) cd /c/Temp
4) tar zxvf libiconv-1.14.tar.gz
5) cd libiconv-1.14
6) ./configure --prefix=/mingw32 --enable-extra-encodings
(私がインストールしているのは、32bit版のMSYS2です。64bit版なら--prefix=/mingw64で良いと思う。)

問題発生!
checking for ld used by GCC...でフリーズしているように見える。
早速、「checking for ld used by GCC」でGoogle検索すると、http://stackoverflow.com/に「MSYS2でbashをビルドしたいけど、checking for ld used by GCCでフリーズするけど？」と質問している人がいた。
回答は以下。
-----------------------------------------------------------------
I do not know why, but I found that the following packages interfered with configure.
(超訳)何や知らんけど、次のパッケージが邪魔してるみたいや。

mingw-w64-i686-grep
mingw-w64-i686-sed
mingw-w64-x86_64-grep
mingw-w64-x86_64-sed

These packages appear to be obsolete. When I removed them configure worked.
(超訳)これらのパッケージは時代遅れみたいや。削除したら動いたでえ。
-----------------------------------------------------------------

私のMSYS2には、mingw-w64-i686-grepがあったので、削除。
勿論、/usr/binに別の(時代遅れでない)パッケージからインストールされたらしいgrepがあるので何も問題ない。

6.1) ./configure --prefix=/mingw32 --enable-extra-encodings
無事に完了した。

7) make
8) make install
9) 確認

> where iconv
C:\msys32\mingw32\bin\iconv.exe
C:\msys32\usr\bin\iconv.exe

> which iconv -a
/mingw32/bin/iconv
/usr/bin/iconv
/bin/iconv

PATHを見ると、/mingw32/binが先にあったので、iconvで起動すればEUC-JIS-2004、 EUC-JISX0213、SHIFT_JIS-2004、SHIFT_JISX0213が使えます。
EUC-JIS-2004とEUC-JISX0213、SHIFT_JIS-2004とSHIFT_JISX0213は同じみたいです。
/usr/bin/iconvはパッケージからインストールされたもので、オプションの符号化方式が使えないものです。
/usr/binと/binは実体は同じです。

以上
2016/10/11 追記
MSYS2の最近のバージョンには、オプションの符号化方式が使えるものも入っているようです。何か問題があったときは、取り敢えず最新バージョンに置き換えてみる方が良いかも。

JISX0213の結合文字表示(Windows編)

Sat, 18 Jun 2016 19:27:57 +0900

JISX0213には，Unicodeで表現する際に結合文字を使って二つの符号位置で表す必要のある文字が25あります。
Windows10に無償アップグレードした機会に、これらの文字の表示具合をあらためて確認してみました。

まずはメモ帳です。

美しいです。完璧です。

次は、Eclipse(4.5.2)です。

これも完璧です。統合開発環境ですが、テキストエディタとしても使えるかも。

さて、Emacs(24.5)です。本家に置いてあるWindows版バイナリイをそのまま使っています。

Emacsには、UNICODEの合字機能が備わっています。global-auto-composition-modeという変数で有効・無効の設定ができて、デフォルトでは有効になっています。
しかし、ご覧のとおり、9文字以外は合字機能の対象にはなっていないようです。合字するかどうか直前の文字を見ないと判断できない文字は、それぞれの言語圏の方が各人の好みで処理してくださいという意味かもしれません。
そこで、インターネットの情報を探し回った結果です。

以下のサイトにある「JISX0213合成文字」というelispをinit.elに入れて表示させてみました。
プログラミングツール置き場：http://albinina.sakura.ne.jp/
Emacs23用となっていますが、動作しているようです。最後の二文字の表示はあまりイケてませんが、贅沢は言いません。
なお、このelispは私のLinux(Debian8)では動作しませんでした。そのお話は次回に。

Windows10に無償アップグレードしたら

Wed, 13 Apr 2016 19:06:06 +0900

5年ほど前に購入したパソコン(DELL 15R N5010 Windows7)を、思い切ってWindows10にアップグレードしました。
'Windows Update'で2時間余りかかりましたが、何の問題もなく出来ました。古いパソコンが意外にもサクサクと動いて、新しいパソコンを買ったような気分です。
ところが、USBフラッシュメモリーを挿すとエクスプローラーの表示が何か不思議…。
下の画像で赤く囲っている部分(E:に割りあてられたUSBフラッシュメモリー)を見てください。何故二つも表示するんでしょう？

ネットの記事を探しても、「これは仕様です…。」という人もいれば、「自分のパソコンでは、そんな表示にはならない…。」という人もいます。
Windows10には満足していますから、気にしないようにしていますが。

Debian8の鼻濁音の表示でガッカリした話

Wed, 24 Jun 2015 20:26:40 +0900

Debian7から8に移行したところ、鼻濁音を表わす文字が、Emacsで表示されなくなってしまいました。

gnome-terminalの表示も変です。

mltermは正常です。素晴らしい!

しょうがないナア。しばらく、mltermで'emacs -nw'するか。

JavaでCOMの引数に配列を指定する

Sun, 23 Nov 2014 19:41:24 +0900

この記事は、10月22日の「Perl,Ruby,PythonでCOMの引数に配列を指定する」の続きです。(我ながら執念深いなあ〜〜〜。)

今回は、JACOB(Java COM Bridge)を利用して、Javaで試してみました。

10,11,14,15行目でSafeArrayに適当な領域を確保した後ダミーの文字を設定していますが、こうしないと「Can't get code pointer error」と怒られてしまいます。
実行結果の通り、現在のバージョンでは配列が逆さまの順に返ってきます。銘柄コードが入る筈の配列に銘柄名、銘柄名が入る筈の配列に銘柄コードが入っています。
しかし、それを前提にコードを書けば良いのだから、私としては別に困るわけではありません。そのうち、開発チームが直してくれるでしょう。

jdk1.8.0_25と、jacob-1.18-M2で確認しました。

 1 import com.jacob.activeX.ActiveXComponent;
 2 import com.jacob.com.Dispatch;
 3 import com.jacob.com.SafeArray;
 4 import com.jacob.com.Variant;
 5 
 6 public class Win32Test {
 7 
 8 	public static void main(String[] args) {
 9 		ActiveXComponent am_names = new ActiveXComponent("ActiveMarket.Names.1");
10 		SafeArray codes = new SafeArray(Variant.VariantString, 4);
11 		codes.setString(0, "");
12 		Variant vn1 = new Variant(Variant.VariantArray, true);
13 		vn1.putSafeArrayRef(codes);
14 		SafeArray names = new SafeArray(Variant.VariantString, 4);
15 		names.setString(0, "");
16 		Variant vn2 = new Variant(Variant.VariantArray, true);
17 		vn2.putSafeArrayRef(names);
18 		Dispatch.call(am_names, "AllNames", 3, vn1, vn2);
19 		int codes_lower = codes.getLBound();
20 		System.out.println("codes getLBound()=" + codes_lower);
21 		int codes_upper = codes.getUBound();
22 		System.out.println("codes getUBound()=" + codes_upper);
23 		int names_lower = names.getLBound();
24 		System.out.println("names getLBound()=" + names_lower);
25 		int names_upper = names.getUBound();
26 		System.out.println("names getUBound()=" + names_upper);
27 		System.out.println("codes[" + codes_lower + "]=" + codes.getString(codes_lower));
28 		System.out.println("codes[" + codes_upper + "]=" + codes.getString(codes_upper));
29 		System.out.println("names[" + names_lower + "]=" + names.getString(names_lower));
30 		System.out.println("names[" + names_upper + "]=" + names.getString(names_upper));
31 	}
32 }

［実行結果］

 1 Microsoft Windows [Version 6.1.7601]
 2 Copyright (c) 2009 Microsoft Corporation.  All rights reserved.
 3 
 4 C:\Users\superich>cd /d c:\Temp
 5 
 6 c:\Temp>set classpath=.;c:\usr\jacob-1.18-M2\jacob.jar
 7 
 8 c:\Temp>set path=%path%c:\usr\jacob-1.18-M2;
 9 
10 c:\Temp>c:\Java\jdk1.8.0_25\bin\javac.exe Win32Test.java
11 
12 c:\Temp>c:\Java\jdk1.8.0_25\bin\java.exe Win32Test
13 codes getLBound()=1
14 codes getUBound()=5337
15 names getLBound()=1
16 names getUBound()=5337
17 codes[1]=東京IOM一般大豆
18 codes[5337]=ベルーナ
19 names[1]=501
20 names[5337]=9997
21 
22 c:\Temp>

PythonでCOMの引数に配列を指定する

Sat, 01 Nov 2014 11:58:13 +0900

この記事は、10月22日の「Perl,Ruby,PythonでCOMの引数に配列を指定する」の続きです。

「受け取るためだけの引数なら戻り値にしてしまうという発想は、自由で面白い」などと書きましたが、実は Perl、Ruby と同じようなものだろうと思って試行錯誤しているうちに偶然発見したことです。本来は、試行錯誤する破目になったなら、'makepy'というユーティリティを使って、COMのタイプライブラリからインタフェースとなるPythonコードを生成するのが真っ当なやり方です。
念のため、あのやり方で正しいのだということを、インタフェースを見て確認することにしました。
早速、'makepy'でインタフェースとなるPythonコードを生成します。と言いたいところですが、その必要はありませんでした。Dispatchした段階で、Dispatchしたクラスの部分だけですが動的にインタフェースが生成されていました。生成された場所は、C:\Users\[USERNAME]\AppData\Local\Temp\gen_py\3.4\[IID]\ です。
Names.py,INames.pyの内、インタフェースであるINames.pyのAllNamesメソッドを眺めると、何やら難しそうですが、引数の配列は 'Codes=pythoncom.Missing, Names=pythoncom.Missing'になっています。そして戻り値の記述に ', Codes, Names)' が入っています。
やはり、あのやり方で正しいのでした。

せっかくだから、'makepy'もやってみます。
私はC:\Python34にPythonをインストールしているので、c:\Python34\Lib\site-packages\win32com\client\makepy.pyを起動すると、タイプライブラリを選択するウインドウが表示される……ハズなのですが、
ImportError: No system module 'pywintypes' (pywintypes34.dll)
になりました。(これは、pywin32-Build218 での現象です。Build219 では正常に起動しました。)
そこで、次のような簡単なスクリプト経由で起動することにしました。

1 from win32com.client import makepy
2 makepy.main()

無事にタイプライブラリの選択画面が表示されました。お目当てのタイプライブラリを選んで「OK」をクリック。


c:\Python34\Lib\site-packages\win32com\client>python gomakepy.py
Generating to C:\Users\foo\AppData\Local\Temp\gen_py\3.4\02EC46E1-E40A-11D1
-A405-0080C88597E5x0x1x3.py
Building definitions from type library...
Generating...
Importing module

c:\Python34\Lib\site-packages\win32com\client>

今度は、C:\Users\[USERNAME]\AppData\Local\Temp\gen_py\3.4\ 直下に生成されました。勿論、Namesクラスだけでなくすべてのクラス、メソッドのインタフェースです。

それでは、
nm = win32com.client.Dispatch("ActiveMarket.Names.1") --> dynamic dispatch
nm = win32com.client.gencache.EnsureDispatch("ActiveMarket.Names.1") --> static dispatch
の違いも調べてみます。
\gen_py\3.4\ 以下のファイルを削除してはそれぞれの dispatch を実行して、生成されたファイルとその更新時間を見るという単純なやり方です。

dynamic dispatch
- 'makepy'で生成したものがあれば、それを使う。
- なければ、動的に生成する。(既に動的に生成されたものがあれば、新たに生成しない。)
static dispatch
- 'makepy'で生成したものがあれば、それを使う。
- なければ、'dynamic'と同じものを動的に生成する。(既に動的に生成されたものがあれば、新たに生成しない。)

インタフェースの生成に関してはまったく同じ動作のように見えますが、何か別の意味で深遠な違いがあるのかもしれません。

Perl,Ruby,PythonでCOMの引数に配列を指定する

Wed, 22 Oct 2014 21:25:38 +0900

COMの引数に配列を指定する方法を調べていたところ、日本語の情報があまり多くはないように感じたので、自分自身のメモ代わりにも書いておきます。
私が使っているCOMは、パンローリング株式会社の提供している'Pan Active Market Database'(http://www.panrolling.com/pansoft/amarket/)というものです。
宣伝ではないので、製品の詳しい説明はしません。興味のある方はサイトを覗いてみてください。

例として取り上げるクラス、メソッドは次のとおりです。
この例では、配列に値をセットしてCOMに渡すのではなく、COMの側で配列を初期化して値をセットして戻してきます。
ProgIDは、'ActiveMarket.Names.1'です。
Names(名前)クラス --> 銘柄コードと銘柄名との対応を保持するクラス
AllNamesメソッド --> 種類を指定して、銘柄コードと銘柄名の一覧を取得するメソッド

　形式
Sub AllNames(ByVal Kind As KindFlag, Codes() As String, Names() As String)
Enum KindFlag
AM_KINDFLAG_SPOTS = 1
AM_KINDFLAG_FUTURES = 2
AM_KINDFLAG_ALL = 3
End Enum

　引数
Kind 入力取得する種類 (AM_KINDFLAG_SPOTS: 現物、AM_KINDFLAG_FUTURES: 先物、AM_KINDFLAG_ALL: すべて)
Codes 出力銘柄コードの一覧
Names 出力銘柄名の一覧

　戻り値ナシ

マニュアルではVB6のコードで説明されていますが、実装がVB6かどうかは分かりません。

Perlの場合

 1 use strict;
 2 use warnings;
 3 use Win32::OLE;
 4 use Win32::OLE::Variant;
 5 use 5.010;
 6 my $nm = Win32::OLE->new('ActiveMarket.Names.1');
 7 my $v1 = Variant(VT_ARRAY|VT_BSTR|VT_BYREF, [1,2], 1);
 8 my $v2 = Variant(VT_ARRAY|VT_BSTR|VT_BYREF, [1,2], 1);
 9 $nm->AllNames(3, $v1, $v2);
10 my @codes = $v1->Dim();
11 my @names = $v2->Dim();
12 my $codes_ref = $codes[0];
13 my ($codes_first_ix, $codes_last_ix) = (${$codes_ref}[0], ${$codes_ref}[1]);
14 my $names_ref = $names[0];
15 my ($names_first_ix, $names_last_ix) = (${$names_ref}[0], ${$names_ref}[1]);
16 say 'codes[', $codes_first_ix, ']=', $v1->Get($codes_first_ix);
17 say 'codes[', $codes_last_ix, ']=', $v1->Get($codes_last_ix);
18 say 'names[', $names_first_ix, ']=', $v2->Get($names_first_ix);
19 say 'names[', $names_last_ix, ']=', $v2->Get($names_last_ix);

　実行結果(Perl v5.20.1 で確認)

codes[1]=501
codes[5323]=9997
names[1]=東京IOM一般大豆
names[5323]=ベルーナ

7,8行目で配列の領域を設定していますが、my $v1 = Variant(VT_ARRAY|VT_BSTR|VT_BYREF, 0); としても問題ないようです。このデータベースは日々更新されるのでデータ件数があらかじめ分からないし、COMの側で初期化するので取り敢えず領域を設定しておく必要はないかもしれません。
10,11行目のDimメソッドで取得する配列には、先頭・最終インデックスが格納されています。実際には、この例では([1,5323],)のリストで、[1,5323]が格納された配列のリファレンスが格納されています。

Rubyの場合

 1 require 'win32ole'
 2 include WIN32OLE::VARIANT
 3 an = WIN32OLE.new('ActiveMarket.Names.1')
 4 codes = WIN32OLE_VARIANT.array([4], VT_ARRAY|VT_BSTR|VT_BYREF)
 5 names = WIN32OLE_VARIANT.array([4], VT_ARRAY|VT_BSTR|VT_BYREF)
 6 an.AllNames(3, codes, names)
 7 codes_ruby = codes.value;
 8 names_ruby = names.value;
 9 codes_first_ix = 1
10 codes_last_ix = codes_ruby.size
11 names_first_ix = 1
12 names_last_ix = names_ruby.size
13 puts "codes[#{codes_first_ix}]=#{codes[codes_first_ix]}"
14 puts "codes[#{codes_last_ix}]=#{codes[codes_last_ix]}"
15 puts "names[#{names_first_ix}]=#{names[names_first_ix]}"
16 puts "names[#{names_last_ix}]=#{names[names_last_ix]}"
17 puts "codes_ruby[#{codes_first_ix - 1}]=#{codes_ruby[codes_first_ix - 1]}"
18 puts "codes_ruby[#{codes_last_ix - 1}]=#{codes_ruby[codes_last_ix - 1]}"
19 puts "names_ruby[#{names_first_ix - 1}]=#{names_ruby[names_first_ix - 1]}"
20 puts "names_ruby[#{names_last_ix - 1}]=#{names_ruby[names_last_ix - 1]}"

　実行結果(Ruby 2.1.3p242 で確認)

codes[1]=501
codes[5323]=9997
names[1]=東京IOM一般大豆
names[5323]=ベルーナ
codes_ruby[0]=501
codes_ruby[5322]=9997
names_ruby[0]=東京IOM一般大豆
names_ruby[5322]=ベルーナ

4,5行目で取り敢えずの領域を指定しておかないと、"in `array': memory allocation error(SafeArrayCreate) (RuntimeError)"になります。
戻ってきたSafeArrayの先頭と最終のインデックスを調べる方法はないようですので、7,8行目でRubyオブジェクトにしてからそのサイズを調べています。
実行結果を見ると、Rubyオブジェクトは先頭が0から始まるRubyの配列に変わっていることが分かります。

Pythonの場合

1 import win32com.client
2 nm = win32com.client.Dispatch("ActiveMarket.Names.1")
3 codes_names = nm.AllNames(3)
4 codes_last_ix = len(codes_names[0]) - 1
5 names_last_ix = len(codes_names[1]) - 1
6 print('codes_names[0][0]=', codes_names[0][0], sep='')
7 print('codes_names[1][0]=', codes_names[1][0], sep='')
8 print('codes_names[0][', codes_last_ix, ']=', codes_names[0][codes_last_ix], sep='')
9 print('codes_names[1][', names_last_ix, ']=', codes_names[1][names_last_ix], sep='')

　実行結果(Python 3.4.2,pywin32-Build218 で確認)

codes_names[0][0]=501
codes_names[1][0]=東京IOM一般大豆
codes_names[0][5322]=9997
codes_names[1][5322]=ベルーナ

PerlのWIN32::OLEとRubyのWin32oleに比べると、Pythonのwin32com.clientは趣が違います。
ドキュメントを読むと、PythonとCOMをシームレスに接続するというコンセプトで設計されているそうですが、私の感覚では確かに単純で無駄がないという感じがします。受け取るためだけの引数なら戻り値にしてしまうという発想は、自由で面白いと思いました。

Debian7でEmacsのフレームを半透明にする

Sun, 20 Jul 2014 19:48:04 +0900

　Emacsの背景を半透明にして、デスクトップの壁紙が透けて見えれば楽しいかなと思って試してみました。
　Debian7(wheezy)で、GNOMEデスクトップ環境のフォールバックモードで動いているパソコンです。
　~/.emacs.d/init.elの設定は、(set-frame-parameter nil 'alpha 70)とかすれば出来るらしい。(70は透明度で、値が小さいほど透明に近づく。)
　早速、*scratch*バッファで、(set-frame-parameter nil 'alpha 70)と入力して、)の後ろにカーソルがある状態で、Cntl-jを押してみます。
　「アレッ、半透明にならない!」
　「アプリケーション」→「アクセサリ」→「端末」で起動される端末エミュレータ(gnome-terminal)には、背景を半透明にする機能があるので、こちらも試してみます。端末エミュレータの「編集(E)」→「プロファイルの設定(O)」→「背景タブ」→「透過な画像にする(T)」にチェックを入れました。
　確かに半透明になりました。しかし、何か変です。壁紙が半透明になっているだけで、隣のEmacsが透けて見えないではありませんか。
　この段階での画面は、こんな状態です。

　執念深く、デスクトップが半透明になる条件をGoogleで探索した結果、2つの条件が必要らしいと判りました。
　● Xサーバが必要な機能を提供していること
　● ウインドウマネージャがcomposite機能を提供していること
　Xサーバの情報は、xdpyinfoを実行して確認できるらしい。確認点は、[32bit visual]があること、[32bit pixmap format]が使えること、[Composite,DAMAGE,RENDER]のextensionがすべて有効であること。
　確認の結果、Xサーバについては大丈夫らしいと判断しました。
　ウインドウマネージャについては、「アプリケーション」→「システムツール」→「dconf Editor」で確認と設定が出来ます。

　org.gnome.metacityを開くと、composite機能にチェックが入っていません。チェックを付けると即効でした。

　なお、端末エミュレータから、「gsettings set org.gnome.metacity compositing-manager true」を実行しても同じ結果になります。
　gnome-terminalは、ウインドウマネージャのcomposite機能が無効になっている場合、とりあえずGNOMEデスクトップ環境の壁紙を透過しているように見せるようです。
　GNOMEデスクトップ環境のフォールバックモードでは、ウインドウマネージャはmetacityですが、XfceやLXDEでもそれぞれのウインドウマネージャの設定次第で出来るはずです。

Python3.4でpywin32が動かなかったこと

Tue, 08 Apr 2014 19:55:43 +0900

Python3.4が正式リリースされていたのでインストールしてみました。Python Japanのダウンロードサイト(http://www.python.jp/download/)にも「特別な理由のない限り、最新版の利用をお勧めします。」って書いてありますから。

Windowsで使う場合はPywin32があると何かと便利なので、pywin32をインストールしました。そして試しにインポートしてみると、

>>> import win32com.client
ImportError: DLL load failed: The specified module could not be found.

インポートできない!
http://sourceforge.net/projects/pywin32/files/pywin32/から貰ってきたpywin32-218.win32-py3.4.exeを実行しただけなので、私がインストールを間違えたとは思えない。念のためC:\Python34にあるpywin32-wininst.logを眺めてみるが正常にインストールしているように見える。
やはり困ったときはグーグル先生に聞い尋ねてみよう。'python' '3.4' 'pywin32'で検索!!

ありました。
win32 import error python 3.4 (http://stackoverflow.com/questions/22490233/win32com-import-error-python-3-4)
あっさりと答が見つかるってことは、結構良く知られた話なのかも。
その答は、After I copied pywintypes26.dll and pythoncom26.dll to c:\Python26\Lib\site-packages\win32 I solved the problem!
なんでPython2.6が出てくるの？と思ったが、投稿されたAnswerを辿っていくと、Python2.6のときに同じ問題が発生したから26を34に置き替えて対処すべしということらしい。
早速、C:\Python34\Lib\site-packages\pywin32_system32\pythoncom34.dll,pywintypes34.dllを、C:\Python34\Lib\site-packages\win32にコピーしてみる。

>>> import win32com.client
>>>

無事インポートできました。

Pythonのバイト列で驚いたこと

Fri, 29 Nov 2013 18:08:46 +0900

ユニコード符号位置からShift_JIS-2004とEUC-JIS-2004を求める必要があって、codecsエンコーダ関数の動作を対話モードで試していたときのことです。

まずは必要なモジュールをimportしてcodecsエンコーダ関数を取得します。

>>> import codecs, struct
>>> enceuc = codecs.getencoder('euc_jis_2004')
>>> encsjis = codecs.getencoder('shift_jis_2004')
>>>

「ア」U+30A2(KATAKANA LETTER A)(JIS8bit 0x2522)をEUC-JIS-2004で符号化してみます。

>>> c = chr(int('30a2', 16))
>>> euc = enceuc(c)
>>> euc
(b'\xa5\xa2', 1)
>>>

EUC-JIS-2004では、16進表記でa5a2です。次はShift_JIS-2004で符号化してみます。

>>> sjis = encsjis(c)
>>> sjis
(b'\x83A', 1)
>>>

(b'\x83\x41', 1)を期待していたのに、一瞬ギョッとしました。変換テーブルが間違っているのかと思ってしまいました。バイト列なのだから当然16進表記で見せてくれるものと思いこんでいたのです。
Python 3.3 documentation(http://docs.python.jp/3.3/)の「Python 標準ライブラリ」「4.8. バイナリシーケンス型」のところに、
「bytes リテラルでは (ソースコードのエンコーディングに関係なく) ASCII文字のみが許可されています。127より大きい値を bytes リテラルに記述する場合は適切なエスケープシーケンスを書く必要があります。」
と書いてあることから推測すると、Pythonではこれが当然ということなのでしょう。ASCII文字の「A」は16進表記では「41」です。

エンコードの結果はタプルで返ってくるので、実際のスクリプトでは16進表記の文字列に変換することにしました。

>>> ww = struct.unpack('BB', sjis[0])
>>> sjisw = hex(ww[0] * 256 + ww[1])
>>> sjisw
'0x8341'
>>>

これで良さそうです。

ちなみに、わたしがPythonを使うのは「好み」ではなく、ユニコードで結合文字を使って表現する25文字を含めて、JISX0213に完全対応していることに敬意を表しているからです。例えば、「か゚」(U+304B+309A)(JIS8bit 0x2477)をShift_JIS-2004で符号化するとこうなります。

>>> c1 = chr(0x304b)
>>> c2 = chr(0x309a)
>>> cw = c1 + c2
>>> sjis = encsjis(cw)
>>> sjis
(b'\x82\xf5', 2)

Debian7にオラクルのJDK7をインストール

Mon, 11 Nov 2013 19:41:01 +0900

今まではOracleのサイトからダウンロードしたjdk-7uXX-linux-x64.tar.gzを/usr/lib/jvm/に解凍し、update-alternatives で設定を変更するとかを手動で行っていましたが、 Javaのアップデードの都度update-alternativesを手動で行うのはいささか疲れるので、java-packageを試してみました。

① /etc/apt/sources.listにcontribがあることを確認する。
② apt-get install java-package
③ make-jpkg jdk-7u45-linux-x64.tar.gz

念のために、update-alternatives --config java でインストール前の状態を確認する。

>>>>>>>
alternative java (/usr/bin/java を提供) には 2 個の選択肢があります。

選択肢パス優先度状態
------------------------------------------------------------
0 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 自動モード
1 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 手動モード
* 2 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 1051 手動モード

現在の選択 [*] を保持するには Enter、さもなければ選択肢の番号のキーを押してください:
>>>>>>>

④ dpkg -i oracle-j2sdk1.7_1.7.0+update45_amd64.deb
⑤ update-alternatives --config java でインストール後の状態を確認し、お目当てのjavaを選択する。

>>>>>>>
alternative java (/usr/bin/java を提供) には 3 個の選択肢があります。

選択肢パス優先度状態
------------------------------------------------------------
0 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 自動モード
1 /usr/lib/jvm/j2sdk1.7-oracle/jre/bin/java 317 手動モード
2 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 手動モード
* 3 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 1051 手動モード

現在の選択 [*] を保持するには Enter、さもなければ選択肢の番号のキーを押してください: 1
update-alternatives: /usr/bin/java (java) を提供するために手動モードで /usr/lib/jvm/j2sdk1.7-oracle/jre/bin/java を使います
>>>>>>>

javaだけでなく、javacもちゃんと登録されていることを確認。

⑥ update-alternatives --list javac

>>>>>>>
/usr/lib/jvm/j2sdk1.7-oracle/bin/javac
/usr/lib/jvm/java-7-openjdk-amd64/bin/javac
>>>>>>>

さらに確認すると、javap,javadoc,jar,javah も登録されている。素晴らしい。これで頻繁にセキュリティアップデートがあっても大丈夫。

Debian7にEmacs24.3をソースからインストールする

Wed, 06 Nov 2013 18:52:41 +0900

Windows7上のVMware PlayerにインストールしたDebian7で、Emacs24.3をビルドした時のメモです。

0. Debianのビルドツールがなければ、build-essentialをインストールする。
1. emacs-24.3.tar.gzをダウンロードして展開
2. cd emacs-24.3
3. ./autogen.sh
----
autoconf (need at least version 2.65)
automake (need at least version 1.11)
----
上記がないと言われる。

4. aptitudeでautoconfとautomakeをインストール
autoconfを選択すると、automakeとautotools-devが依存関係を満たすために自動的に選択される。

5. ./autogen.sh
----
You can now run `./configure'.
----
configureの準備は出来たようだ。

6. ./configure
----
configure: error: You seem to be running X, but no X development libraries
were found. You should install the relevant development files for X
and for the toolkit you want, such as Gtk+, Lesstif or Motif. Also make
sure you have development files for image handling, i.e.
tiff, gif, jpeg, png and xpm.
If you are sure you want Emacs compiled without X window support, pass
--without-x
to configure.
----

7. aptitudeで以下のパッケージをインストール
Xorg-dev libgtk2.0-dev libtiff4-dev libgif-dev libjpeg62-dev libpng12-dev libxpm-dev
選択している内に依存関係で自動的に選択されるパッケージもあるようだ。少し戸惑う。
バージョンに迷うよりも、例えば apt-get install libjpeg-dev の方が簡単だし楽かも知れない。

8. ./configure
----
configure: error: The required function `tputs' was not found in any library.
The following libraries were tried (in order):
libtinfo, libncurses, libterminfo, libtermcap, libcurses
Please try installing whichever of these libraries is most appropriate
for your system, together with its header files.
For example, a libncurses-dev(el) or similar package.
----

9. libncurses5-devをaptitudeでインストール
10. ./configure
11. make distclean
12. ./configure
13. make bootstrap
----
Compiling language/thai-word.el

In toplevel form:
language/thai-word.el:10738:5:Error: Memory exhausted--use C-x s then exit and restart Emacs
----
失敗した。メモリが足りないなんておかしい。
しばし黙考。
less INSTALL して、以下の記述を発見しさらに黙考。
----
* intlfonts-VERSION.tar.gz

The intlfonts distribution contains X11 fonts in various encodings
that Emacs can use to display international characters. If you see a
non-ASCII character appear as a hollow box, that means you don't have
a font for it. You might find one in the intlfonts distribution. If
you do have a font for a non-ASCII character, but some characters
don't look right, or appear improperly aligned, a font from the
intlfonts distribution might look better.

The fonts in the intlfonts distribution are also used by the ps-print
package for printing international characters. The file
lisp/ps-mule.el defines the *.bdf font files required for printing
each character set.

The intlfonts distribution contains its own installation instructions,
in the intlfonts/README file.

* Image support libraries
----
X11のフォントなんてビルド中のメモリ不足とは関係ないだろうとは思うけれど、インストールしておくことに。

14. aptitudeでfonts-inconsolataをインストール（ttf-inconsolataでも同じ）
15. make bootstrap
正常に終った。不思議だ。

16. make install
インストール完了。/usr/local/bin/emacs を実行して、正常に起動することを確認。

なお、INSTALLをゆっくり読むと、こんな記述があった。
----
The names of the packages that you need varies according to the
GNU/Linux distribution that you use, and the options that you want to
configure Emacs with. On Debian-based systems, you can install all the
packages needed to build the installed version of Emacs with a command
like `apt-get build-dep emacs23'. On Red Hat systems, the
corresponding command is `yum-builddep emacs'.
----
最初に、apt-get build-dep emacs23とやっていればもっと楽だった。

さらに、もっと楽したい方は以下のサイトの手順を実行すれば良い。
◎Shammerism:DebianにEmacs24.2をインストール
ただし、簡潔に纏めている分、環境によってはハマル人がいるカモ。

しかし、ビルド中のメモリ不足については釈然としない。もう一度ビルドして再現するかどうか試してみることに。

>cd emacs-24.3
>make clean
>./configure
>make bootstrap
----
Compiling language/thai-word.el

In toplevel form:
language/thai-word.el:10738:5:Error: Memory exhausted--use C-x s then exit and restart Emacs
----

再現した。仮想環境のメモリ割り当て量を増やして、もう一度やってみたが同じ結果に。

解決策は次のとおり。
コンパイルに失敗したelispをコンパイルして再開すれば良い。

>cd lisp/language/
>emacs -Q -batch -f batch-byte-compile thai-word.el
>cd ../../
>make

他にも同様のエラーが出れば、同じことを繰り返す。

あるいは、今回は試さなかったが、以下のやり方でも良い筈。

>emacs -Q -batch -f batch-byte-recompile-directory lisp/
>make

makeでエラーがなくなれば
>make install

EmacsとJISX0213の25文字(つづき)

Thu, 31 Oct 2013 19:19:24 +0900

10月28日の記事のつづきです。
X Window上のEmacsで何とか表示する方法はないかとネットを探し回った結果、以下のサイトにある「JISX0213合成文字」というelispをinit.elに入れて表示させてみました。
プログラミングツール置き場：http://albinina.sakura.ne.jp/
Emacs23用となっていますが、動作しているようです。

Debianでの表示(フォントはTakaoゴシック) <--- IPAフォントでもOKでした。

Windows VISTAでの表示

GNOME端末でemacs -nwで起動すると、結合して綺麗に表示してますが、念のためこれがGNOME端末自体の機能であることを確かめました。
cat,less,viのどれでも結合して綺麗に表示してくれます。

EmacsとJISX0213の結合文字を使う25文字

Mon, 28 Oct 2013 20:06:59 +0900

私は現在Windows版のEmacs24.2.1を使用しています。
JISX0213の文字には，Unicodeで表現する際に結合文字を使って二つの符号位置で表す必要のある文字が25ありますが、Emacsはこの25文字を結合して表示してくれません。
最新の安定版は24.3なので、VMware PlayerにインストールしたDebian7.2に入れて試してみました。
結果は、ご覧のとおりでした。

しかし、新しい発見がありました。GNOME端末でemacs -nwで起動すると、結合して綺麗に表示してくれるのです。

それでも、メニューバーをマウスでクリックしたい私としてはX Window上のEmacsでないと使い辛いところがります。

私は、この25文字を結合して表示してくれるエディタに出会うと嬉しくなります。
私の知る範囲では、Windowsの「メモ帳」、GNOME付属の「gedit」、統合開発環境だとEclipse、NetBeansIDEがそうです。
Emacsも、デフォルトの状態で結合して表示してくれると嬉しいのですが…。

iconv、Java、PythonのJISX0213

Sat, 11 May 2013 21:33:01 +0900

JISX0201とJISX0213を併用したデータをShift_JIS-2004で符号化し、iconv、Java、PythonでUTF-8に変換した結果を比較してみた。
（原則としてJISX0213はそれ自身で完結した文字集合でありJISX0208のようにJISX0201と併用するものではないが、JISX0213に移行する際にはJISX0201とJISX0208を併用した既存のデータをShit_JIS-2004として扱いたい場合もありえるので、試してみた。）

各々のバージョンとエンコーディング名は次のとおり。

iconv (Debian EGLIBC 2.11.3-4) 2.11.3 --from-code=SHIFT_JISX0213
java version "1.7.0_21"　Charset-name "x-SJIS_0213"
Python version 3.3.1 encoding 'shift_jis_2004'

（ブラウザによっては、U+005Cが[REVERSE SOLIDUS]ではなく[YEN SIGN]に表示される場合があります。
WindowsではIE9で問題なく[REVERSE SOLIDUS]が表示されましたが、FirefoxとGoogleChromeではフォントを変更する必要がありました。
また、使われているフォントによっては見た目では「全角」「半角」の区別がつきにくい場合もあります。）

変換した結果
Seq.	Shift_JIS-2004	iconv	Java	Python
1	0x5C	¥（U+00A5）	\（U+005C）	¥（U+00A5）
2	0x7E	‾（U+203E）	~（U+007E）	‾（U+203E）
3	0x815C	—（U+2014）	—（U+2014）	―（U+2015）
4	0x815F	＼（U+FF3C）	＼（U+FF3C）	\（U+005C）
5	0x81B0	～（U+FF5E）	～（U+FF5E）	~（U+007E）
6	0x81D4	｟（U+FF5F）	｟（U+FF5F）	⦅（U+2985）
7	0x81D5	｠（U+FF60）	｠（U+FF60）	⦆（U+2986）

「１」の0x5Cは[YEN SIGN]なので、U+00A5が正解。ASCIIとJISX0213の併用でない限り、U+005C[REVERSE SOLIDUS]はありえない。
「２」の0x7Eは[OVERLINE]なので、U+203Eが正解。ASCIIとJISX0213の併用でない限り、U+007E[TILDE]はありえない。
「３」は微妙。U+2014は[EM DASH]、U+2015は[HORIZONTAL BAR]。
「Project X0213(x0213.org) 」の資料を見ると、「0x213D U+2014 # EM DASH Windows: U+2015」となっている。Pythonが不正解とは言い切れない。
「４」～「７」はいわゆる「全角」「半角」のどちらを選ぶかの問題。Pythonは「半角」になっている。
JISX0201とJISX0213に同じ文字があればJISX0213の側は「全角」を採用し、なければ「半角」を採用するという規則にすれば「半角」が正解。
なお、iconv、Java、Pythonとも、「４」～「７」の4文字を除いてJISX0201と重複するJISX0213の英数字と記号はすべて「全角」になっていた。
正規化すれば済む話だから「どっちでもいい」が正解なのかも。

「１」と「２」については、所謂「￥」記号問題のため、「UNICODEを利用するアプリケーションは0x7F以下のコードに関しては移動させない」と言う暗黙のルールに従えば、Javaが正解とも言える。(2013.11.1 追記)