C# と VB.NET の質問掲示板

いつもお世話になっております。

現在の環境は以下の通りです。

Windows XP sp3
Microsoft Visual Studio 2008 Pro
Microsoft .NET Framework Version 3.5 SP1


早速ですが、質問です。
現在FTPのファイル一覧を取得するツールを作成中ですが、「全角が含まれる」URLの時に
一覧が取得できない時があり行き詰っています。


☆パターン１【ftp://123.456.789.012/test/ああああ】
結果：正常に「ああああ」の直下のフォルダが表示される

接続先(AbsoluteUri)    ： ftp://123.456.789.012/test/%E7%B8%BA%E3%82%85%E2%89%A0%E7%B8%BA%E3%82%85%E2%89%A0
接続先(OriginalString) ： ftp://123.456.789.012/test/縺ゅ≠縺ゅ≠

drwxr-xr-x    * 0        0            **** Apr 07 08:22 TEST

ClosingData: 226 Directory send OK.



☆パターン２【ftp://123.456.789.012/test/ああああ/いいいい】
結果：「いいいい」の直下のフォルダが表示されないが、結果は「226」が戻る。
接続先(AbsoluteUri)    ： ftp://123.456.789.012/test/%E7%B8%BA%E3%82%85%E2%89%A0%E7%B8%BA%E3%82%85%E2%89%A0/%E7%B8%BA%E3%83%BB%EF%BC%9E%E7%B8%BA%E3%83%BB%EF%BC%9E
接続先(OriginalString) ： ftp://123.456.789.012/test/縺ゅ≠縺ゅ≠/縺・＞縺・＞
ClosingData: 226 Directory send OK.

※ステータスコード＝226　…　Closingデータ接続。 正常な要求されたファイル処置(例えば; ファイル・トランスファーかファイル異常終了)。 


上記の結果を踏まえて不明な点が３点あります。

１．パターン１で正常に一覧が取得できているので、エンコード等はあっていると思っているのですが、
　　なぜ、パターン２では正常にデータが取得できないのか？　（縺・＞の中点（・）が悪さをしている・・・？）

２．AbsoluteUriは、UTF-8の16進数に変換されているが、このURLをIE等では接続できない。

　　SHIF-JIS ftp://123.456.789.012/test/%E3%81%82%E3%81%82%E3%81%82%E3%81%82/　⇒　ツールではこのURLで接続にいくと一覧が表示されない
　　UTF-8    ftp://123.456.789.012/test/%E7%B8%BA%E3%82%85%E2%89%A0%E7%B8%BA%E3%82%85%E2%89%A0 ⇒ IEでは接続できないが、ツールはこのURLで接続にいっている？

３．そもそも「ftpRes.ResponseUri.AbsoluteUri」のURLで接続にいっているのでしょうか？

４．「226 Directory send OK.」と帰ってきている以上、実はフォルダの一覧が取得できている・・・？


数日格闘致しましたが万策つきました。
よろしければ皆様のお知恵をお貸し下さい。
長文失礼しました。


参考サイト
ttp://dobon.net/vb/dotnet/internet/ftpwebrequest.html
ttp://bbs.wankuma.com/index.cgi?mode=al2&namber=42964&KLOG=73


＊＊＊＊＊＊＊＊＊＊＊　以下ソース　＊＊＊＊＊＊＊＊＊＊＊＊

'===============================================
' FTPサーバへの接続
'===============================================
Private Sub S_Connect()

    'URL（自作関数にて全角をUTF8に変換。関数は下に記載）
    Dim u As New Uri("ftp://123.456.789.012/test/" & F_ChangeZen16("ああああ"))             'パターン１
    'Dim u As New Uri("ftp://123.456.789.012/test/" & F_ChangeZen16("ああああ/いいいい"))   'パターン２

    'FtpWebRequestの作成
    Dim ftpReq As System.Net.FtpWebRequest = System.Net.WebRequest.Create(u)

    'ログインユーザー名とパスワードを設定
    ftpReq.Credentials = New System.Net.NetworkCredential("user", "pass")

    '指定されたURLのフォルダ一覧を取得
    ftpReq.Method = System.Net.WebRequestMethods.Ftp.ListDirectoryDetails

   ftpReq.KeepAlive = False        '要求の完了後に接続を閉じる
   ftpReq.UseBinary = False        'ASCIIモードで転送する
   ftpReq.UsePassive = False       'PASSIVEモードを無効にする

    'FtpWebResponseを取得
    Dim ftpRes As System.Net.FtpWebResponse
    ftpRes = CType(ftpReq.GetResponse(), System.Net.FtpWebResponse)

    Console.WriteLine("接続先(AbsoluteUri)    ： " & ftpRes.ResponseUri.AbsoluteUri)
    Console.WriteLine("接続先(OriginalString) ： " & ftpRes.ResponseUri.OriginalString)

    'FTPサーバーから送信されたデータを取得
    Dim enc As System.Text.Encoding = System.Text.Encoding.GetEncoding(65001)
    Dim sr As New System.IO.StreamReader(ftpRes.GetResponseStream(), enc)

    While sr.Peek > -1
        'ファイル一覧を表示
        Console.WriteLine(sr.ReadLine)
    End While

    sr.Close()

    'FTPサーバーから送信されたステータスを表示
    Console.WriteLine("{0}: {1}", ftpRes.StatusCode, ftpRes.StatusDescription)
End Sub


'===============================================
' 全角PATH変換処理
'===============================================
Private Function F_ChangeZen16(ByVal p_strPath As String) As String
    Dim bytesData As Byte()                 '全角文字をUTF8で変換
    Dim byteSumData(-1) As Byte             'bytesDataを溜め込んでいく

    Dim strHenkanGo As String = ""          '変換後全角文字格納用
    Dim strReturnPath As String = ""        '戻り値

    Dim enc As System.Text.Encoding = System.Text.Encoding.GetEncoding("Shift_JIS")

    For i As Integer = 1 To p_strPath.Length
        'URLを1文字ごとにチェックする
        Dim str1mojiPath As String = Mid(p_strPath, i, 1)

        '文字のバイト数にて、半角全角を判断
        Dim intByteCount As Integer = enc.GetByteCount(str1mojiPath)

        '全角の時
        If intByteCount = 2 Then

            'UTF-8に変換（10進数）
            bytesData = System.Text.Encoding.UTF8.GetBytes(str1mojiPath)

            '配列の結合（URLに全角が続いた時の為）
            Dim intSumData As Integer = byteSumData.Length
            ReDim Preserve byteSumData(intSumData + bytesData.Length - 1)
            bytesData.CopyTo(byteSumData, intSumData)

            'SHIFT-JISに変換
            strHenkanGo = System.Text.Encoding.GetEncoding(932).GetString(byteSumData)

        '半角の時
        Else
            strReturnPath = strReturnPath & strHenkanGo & str1mojiPath

            '全角用の変数をイニシャル
            strHenkanGo = ""
            ReDim byteSumData(-1)
        End If
    Next

    strReturnPath = strReturnPath & strHenkanGo

    Return strReturnPath
End Function

■No48516 (いただっく さん) に返信
> 現在の環境は以下の通りです。
> Windows XP sp3
> Microsoft Visual Studio 2008 Pro
> Microsoft .NET Framework Version 3.5 SP1
FTP サーバー側の環境はわかりますか?


> １．パターン１で正常に一覧が取得できているので、エンコード等はあっていると思っているのですが、
運良く化けずに取得できる事があるというだけで、手順そのものは正しく無いと思います。
「そのサーバーにとって正しい方法」を選択する必要がありますが、相手が IIS 以外のサーバーの場合、
その正しい方法を、FtpWebResponse で実装できるかどうかは分かりません。


> 　　なぜ、パターン２では正常にデータが取得できないのか？　（縺・＞の中点（・）が悪さをしている・・・？）
「縺ゅ≠縺ゅ≠」のように、"縺" や "繧" が繰り返し現れる化け方というのは、
UTF-8 でエンコードされたバイナリを、本来の UTF-8 でデコードせずに
Shift_JIS でデコードした場合の典型的な化け方です。


"ああ" という文字列の場合、
　UTF8 : E3,81,82,E3,81,82
　SJIS : 82,A0,82,A0
というバイナリにエンコードされます。

この時、正しいデコーダが選ばれれば元の「ああ」に戻せますが、
E3,81,82,E3,81,82 を、誤って Shift_JIS として処理してしまうと、
　"E381" → "縺"
　"82E3" → "ゅ"
　"8182" → "≠"
という文字列に化けてしまう事になります。


一方、"いい"の場合は、
　UTF8 : E3,81,84,E3,81,84
　SJIS : 82,A2,82,A2
となります。そして E3,81,84,E3,81,84 が Shift_JIS として扱われた場合、
　"E381" → "縺"
　"84E3" → Shift_JIS のエリア内だが、文字は割り当てられていない
　"8184" → "＞"
という文字列と認識されます。一応、この時点ではデータはまだ破損していませんが、
ここからさらに Unicode 変換が行われますので、この段階で『・』などの文字に
代替され、その結果、データとしては破損する事になります。


> ２．AbsoluteUriは、UTF-8の16進数に変換されているが、このURLをIE等では接続できない。
> 　　SHIF-JIS ftp://123.456.789.012/test/%E3%81%82%E3%81%82%E3%81%82%E3%81%82/　⇒　ツールではこのURLで接続
> 　　UTF-8    ftp://123.456.789.012/test/%E7%B8%BA%E3%82%85%E2%89%A0%E7%B8%BA%E3%82%85%E2%89%A0 ⇒ IEでは接続できないが、ツールはこのURLで接続にいっている？
# そもそも 123.456.789.012 というアドレスが NG ですが、それは本題では無いので無視するとして。

接続先のFTPサーバーや、使用しているFTPクライアントによって多少の差異がありますが、
たとえば、日本語版 IIS 5.1 の FTP サーバー機能の場合、IE8環境のエクスプローラーからは
   ftp://localhost/test/%82%A0%82%A0%82%A0%82%A0/%82%A2%82%A2%82%A2%82%A2/
のアドレスで接続する事ができますが、FtpWebRequest の場合には、
   Dim u1 As New Uri("ftp://localhost/test/ああああ/いいいい")
   Dim u2 As New Uri("ftp://localhost/test/%E3%81%82%E3%81%82%E3%81%82%E3%81%82/%E3%81%84%E3%81%84%E3%81%84%E3%81%84")
のいずれかで接続できます。(IIS 以外のサーバーでは、別の指定方法になるかも知れません)


> ３．そもそも「ftpRes.ResponseUri.AbsoluteUri」のURLで接続にいっているのでしょうか？

強いて言えば AbsoluteUri の方ですが、そもそも実際の FTP 処理では、%FF%FF…形式の文字列は使われていないはずです。
FTP.EXE をデバッグモード(-d オプション)で使ったことがあれば分かるかと思いますが、
内部的には、たとえば以下のようなデータ交換が行われる事になります(細かい点は端折っています)。

→クライアントから接続要求。
←サーバーから "220" が返され、アカウント入力待ちになる。
→クライアントから "USER アカウント名" コマンドが渡される。
←サーバーから "331" が返され、パスワード入力待ちになる。
→クライアントから "PASS パスワード" コマンドが平文で渡される。
←サーバーから "230" が返され認証成功。入力待ちになる。
→クライアントから "LIST test/ああああ/いいいい" コマンドが渡される。≪ %FF%FF 形式では無い
←サーバーから "150" が返されデータ接続がオープンされる。
←サーバーからデータポートにファイルの一覧が渡される。
　なおこの一覧の形式はサーバーによって異なっており、統一された仕様は無い。
←サーバーから "226" が返されデータ接続がクローズされた事が通知される。
→クライアントから "QUIT" コマンドが渡される。これにより、サーバーからログアウトされる。


この場合の問題は、"LIST test/ああああ/いいいい" が送出される際の文字コードです。

というのも、FTP の仕様そのものがマルチバイト文字を考慮した設計にはなっていないため、
日本語ファイル名がどのように送出されるかは、それぞれの実装に依存しているからです。

しかも FtpWebRequest の場合、FtpWebResponse.GetResponseStream() に対して Encoding を指定して
文字列にデコードする事はできるものの、コマンドの文字コードを指定する機能は用意されていないようです。


> ４．「226 Directory send OK.」と帰ってきている以上、実はフォルダの一覧が取得できている・・・？
FTP サーバー側のログを確認してみてください。中には、指定していたパスが間違っていた場合にも
空の一覧を返して、コマンド自体は正常とみなす実装もあるかも知れません。
あるいは本当に "縺ゅ≠縺ゅ≠/縺・＞縺・" という名前のディレクトリがサーバー側に存在していた、とか。


> Dim bytesData As Byte()
> Dim byteSumData(-1) As Byte
『Dim 変数名() As 型名』表記の配列宣言と、
『Dim 変数名 As 型名()』表記が混在していますね。

意味は同じですが、どちらかに統一しておいた方が良いと思いますよ。