C# と VB.NET の質問掲示板

以前、この掲示板でvb.netでWebDAVサーバーに大容量ファイルをアップロードするとエラーになってしまうと質問し、解決したのですが、
サーバーを移動したところ、アップロード処理が正常に動作しないようになってしまいました。


実行すると１〜２分停滞した後、
「基礎になる接続が閉じられました: 受信時に予期しないエラーが発生しました」
という例外エラーが発生してしまいます。

サーバー管理者に確認したところ、サーバーの設定は移動前から変えていないとのことでした。


ソースコードは以下のとおりです
−−−−−−−−−−−−−−−−

            Dim fileToUpload As String = ""
            Dim fileLength As Long = 0
            Dim wIdx As Long = 0
            Dim url As String = ""

            url = サーバーのURL
            fileToUpload = アップロードするファイルのフルパス
            fileLength = My.Computer.FileSystem.GetFileInfo(fileToUpload).Length
            Dim u As New Uri(url)
            Dim host As String = u.Host
            url = url.TrimEnd("/"c) & "/" & サーバーアップロード先フォルダ & IO.Path.GetFileName(fileToUpload)
            Dim request As HttpWebRequest = DirectCast(System.Net.HttpWebRequest.Create(url), HttpWebRequest)
            request.Credentials =  New NetworkCredential(ユーザー名, パスワード)
            request.Method = WebRequestMethods.Http.Put
            request.ContentLength = fileLength
            request.SendChunked = True
            request.Headers.Add("Translate: f")  
            request.AllowWriteStreamBuffering = False
            request.Timeout = 1800000               ''タイムアウト1800秒
            Dim s As IO.Stream = request.GetRequestStream()
            Dim fs As New IO.FileStream(fileToUpload, IO.FileMode.Open, _
                        IO.FileAccess.Read)
            Dim byteTransferRate As Integer = 102400
            Dim bytes(byteTransferRate - 1) As Byte
            Dim bytesRead As Integer = 0
            Dim totalBytesRead As Long = 0
            Do
                bytesRead = fs.Read(bytes, 0, bytes.Length)
                If bytesRead > 0 Then
                    totalBytesRead += bytesRead
                    s.Write(bytes, 0, bytesRead)
                End If
            Loop While bytesRead > 0
            s.Close()
            s.Dispose()
            s = Nothing
            fs.Close()
            fs.Dispose()
            fs = Nothing
            Dim response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
            Dim code As HttpStatusCode = response.StatusCode
            response.Close()
            response = Nothing

−−−−−−−−−−−−−−−−

自分でも、色々と調べたり、設定を変えたりしてみたところ、
「request.SendChunked = True」を「False」に、「request.AllowWriteStreamBuffering = False」を「True」に変更して
実行するとアップロードに成功しました。ただし、大容量（800MBほど）のファイルをアップロードしようとすると処理が停滞し、
タイムアウトエラーとなってしまいました。
※「request.SendChunked = False」の設定をして、「request.AllowWriteStreamBuffering = False」のままだと「この要求には、データのバッファーが必要です。」というエラーになってしまう為、「request.AllowWriteStreamBuffering = False」を「True」にしました。

比較的小さなファイル（50MBや130MB）は10〜数十秒程度で正常にアップロードできました。
ちなみに「CarotDAV」のようなツールソフトだと大容量ファイルも正常にアップロードできました。


何が原因で動作しなくなったのか、分からなくて困っています。教えてほしいのは以下の点です。
�@「基礎になる接続が閉じられました: 受信時に予期しないエラーが発生しました」の発生原因の調べ方
�A上記の修正内容で大容量のファイルアップロードを成功させる方法があれば教えてほしいです。
�B上記以外の修正方法で、アップロードを動作させる方法があれば教えてほしいです。

よろしくお願いします。

■No74871 (DSC渡邊 さん) に返信
> 大きなデータをアップロードする際の注意点について書かれたURLを見つけて、そこには「AlowWriteStreamBuffering プロパティに Falseを設定して認証機能と共に利用すると 「この要求には、データのバッファが必要です」というエラーが発生する 」と書かれていましたが…

それは認証方式、AllowAutoRedirect、ContentLength、SendChunked等の設定によります。
プロトコル上、「長さ」の送信が必要になる場合と「再送」する可能性がある場合にバッファリングが必要になります。

> 結局、何が原因でアップロードエラーが発生したのか、はっきりしませんでした。

認証方式を書いていないのでわかりませんが、
設定を一切いじっていないということであればNTLMかKerberos等の接続指向の認証プロトコルを使っていたのではないですか？
通常HTTPはリクエスト毎に認証しますが、これらはTCP接続単位で認証するため、他の接続の影響を受けます。

認証用の空PUTはRFCに軽く述べられていますが、"Allow: PUT"とヘッダーを送り、書き込みたいURLと同じURLを使うべきです。
また、リダイレクトが発生することも考慮し、2回目のPUTではURLを書き換えておかなければなりません。
サーバーによってはセッションを保持しなければいけない場合もあります。
その他いくつかオマジナイを入れ、下記のようなコードがよいでしょう。（動作未確認ですが。

        Dim fileToUpload As String 
        Dim fileLength As Long 
        Dim url As Uri
        Dim nc As New NetworkCredential(ユーザー名, パスワード)
        Dim cc As New CookieContainer 'for tracking session
        Dim request As HttpWebRequest
        '空ファイルPUT
        fileToUpload = アップロードしたい大容量ファイルのフルパス
        Using fs As New IO.FileStream(fileToUpload, IO.FileMode.Open, IO.FileAccess.Read)
            fileLength = fs.Length
            url = New Uri(サーバーのURL, "/" & サーバーのアップロード先フォルダ & IO.Path.GetFileName(fileToUpload))

            request = DirectCast(System.Net.HttpWebRequest.Create(url), HttpWebRequest)
            request.Method = WebRequestMethods.Http.Put
            request.UnsafeAuthenticatedConnectionSharing = True 'for Nego/NTLM/Kerberos
            request.KeepAlive = True
            request.Headers.Add(HttpRequestHeader.Allow, "PUT") ' for EmptyPUT
            request.AllowWriteStreamBuffering = True
            request.PreAuthenticate = True
            request.Headers.Add("Translate: f") ' for IIS
            request.Credentials = nc
            request.CookieContainer = cc
            Using res As HttpWebResponse = request.GetResponse()
                url = res.ResponseUri
            End Using

            request = DirectCast(System.Net.HttpWebRequest.Create(url), HttpWebRequest)
            request.Method = WebRequestMethods.Http.Put
            request.UnsafeAuthenticatedConnectionSharing = True
            request.KeepAlive = True
            request.ContentLength = fileLength
            request.SendChunked = True
            request.AllowWriteStreamBuffering = False 'no-buffering
            request.PreAuthenticate = True ' for sharing auth info
            request.AllowAutoRedirect = False
            request.Headers.Add("Translate: f")
            request.Credentials = nc
            request.CookieContainer = cc

            Using reqst As IO.Stream = request.GetRequestStream()
                Dim buf As Byte() = New Byte(64 * 1024 - 1) {}
                Dim r As Byte
                While True
                    r = fs.Read(buf, 0, buf.Length)
                    If r = 0 Then Exit While
                    reqst.Write(buf, 0, r)
                End While
            End Using
        End Using

        Dim code As HttpStatusCode
        Using response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
            code = response.StatusCode
            If code >= 300 AndAlso code < 400 Then Throw New Exception
        End Using

■No74873 (れい さん) に返信

懇切丁寧な説明ありがとうございます。助かります。

教えて下さったコードは早速参考にさせていただきました。
ただ、「 request.UnsafeAuthenticatedConnectionSharing = True 」  にすると「転送接続にデータを書き込めません」というエラーが発生しました。
どうやら、サーバーの認証プロトコルはNTLMかKerberos等ではないようです。

最終的には以下のようなソースコードでアップロードに成功しました。
−−−−−−−−−−−−−−−−

            Dim fileToUpload As String
            Dim fileLength As Long
            Dim url As Uri
            Dim nc As New NetworkCredential(ユーザー名, パスワード)
            Dim cc As New CookieContainer 'for tracking session
            Dim request As HttpWebRequest

            '空ファイルPUT
            fileToUpload = アップロード元ファイルのフルパス
            Using fs As New IO.FileStream(fileToUpload, IO.FileMode.Open, IO.FileAccess.Read)
                fileLength = fs.Length
                url = New Uri(サーバーのURL & "/" & サーバーのアップロード先フォルダ & IO.Path.GetFileName(fileToUpload))
                request = DirectCast(System.Net.HttpWebRequest.Create(url), HttpWebRequest)
                request.Method = WebRequestMethods.Http.Put
                request.Headers.Add(HttpRequestHeader.Allow, "PUT") ' for EmptyPUT
                request.AllowWriteStreamBuffering = True
                request.PreAuthenticate = True
                request.Headers.Add("Translate: f") ' for IIS
                request.Credentials = nc
                request.CookieContainer = cc
                request.ContentLength = 0
                Using res As HttpWebResponse = request.GetResponse()
                    url = res.ResponseUri
                End Using

                request = DirectCast(System.Net.HttpWebRequest.Create(url), HttpWebRequest)
                request.Method = WebRequestMethods.Http.Put
                request.ContentLength = fileLength
                request.SendChunked = False
                request.AllowWriteStreamBuffering = False 'no-buffering
                request.PreAuthenticate = True ' for sharing auth info
                request.AllowAutoRedirect = False
                request.Headers.Add("Translate: f")
                request.Credentials = nc
                request.CookieContainer = cc
                request.Timeout = 600000               ''タイムアウト600秒
                Using reqst As IO.Stream = request.GetRequestStream()
                    Dim bytes(102400 - 1) As Byte
                    Dim bytesRead As Integer = 0
                    Dim totalBytesRead As Long = 0
                    Do
                        bytesRead = fs.Read(bytes, 0, bytes.Length)
                        If bytesRead > 0 Then
                            totalBytesRead += bytesRead
                            reqst.Write(bytes, 0, bytesRead)
                        End If
                    Loop While bytesRead > 0
                End Using
            End Using

            Dim code As HttpStatusCode
            Using response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
                code = response.StatusCode
                If code >= 300 AndAlso code < 400 Then Throw New Exception
            End Using

−−−−−−−−−−−−−−−−

処理効率も良くなったようで、昨日の800MBのファイルで2分程かかったアップロード時間が1分30秒を切るようになりました。

本当にありがとうございました。