C# と VB.NET の質問掲示板

2017/03/20(Mon) 16:53:06 編集(投稿者)
<pre><pre>2017/03/20(Mon) 16:52:46 編集(投稿者)
2017/03/20(Mon) 16:52:43 編集(投稿者)

<pre><pre>
以下のコードで巨大なSingle配列を
数百MByte程度のサイズの一列のテキストファイルとして出力するコードを書きました。

Dim a(xmax, ymax, zmax) As Single

Using writer As New StreamWriter(Path, False, Encoding.ASCII)

       For zzz As Integer = 1 To zmax
       For yyy As Integer = 1 To ymax
       For xxx As Integer = 1 To xmax

            writer.WriteLine(a(xxx, yyy, zzz).ToString)

       Next xxx
       Next yyy
       Next zzz

End Using

ただ、タスクマネージャーで確認すると
ストレージの帯域は5%程度しか使っておらず
CPU使用率も10%程度となっています。

これをマルチスレッド化して高速出力したいのですが
どのようにすれば良いですか？

Single→String→Byteという2段階のデータ変換を行っていることになるので
どちらが律速しているか調べるために
以下のマルチスレッドコードを書いて計算時間を比較しました。



       For zzz As Integer = 1 To zmax

           Dim XY(xmax, ymax) As String

           Dim zzz2 As Integer = zzz

          Parallel.For(1, ymax + 1, Sub(yyy)

            For xxx As Integer = 1 To xmax

                XY(xxx, yyy) = a(xxx, yyy, zzz2).ToString

            Next xxx

          End Sub)

       For yyy As Integer = 1 To ymax
       For xxx As Integer = 1 To xmax

            writer.WriteLine(XY(xxx, yyy))

       Next xxx
       Next yyy
       Next zzz

しかし計算時間は全く変わりませんでした。
そのため、String→Byteの変換が律速していると考えています。


Dim bytesData As Byte() = System.Text.Encoding.GetEncoding(932).GetBytes(str)

というコードで、String→Byte配列への変換を行うことができるのは分かるのですが、
どのようにマルチスレッド化すれば良いでしょうか？

ファイルサイズが数百MByte程度になるので
一度に全てをバイト配列にして最後に出力するというのは避けたいです。


       For zzz As Integer = 1 To zmax
の部分を４つくらいのスレッドの分離して
マルチスレッドで処理するのがもっとも適当でしょうか？



</pre></pre></pre></pre>

どうも、元のコードだと
GetBytesAndWriteSync
がファイルを書き込むコードになっていないようでした。

あと、
外側のループを減らすために、以下のようにxyまるごと配列にして出力する方法も試してみましたが
なぜか10倍くらい遅くなってしまいました




    <MethodImpl(MethodImplOptions.NoOptimization)>
    Sub GetBytesAndWriteASync4(ByVal a(,,) As Single, ByVal enc As Encoding, ByVal path As String)
        Using stream As New FileStream(path, FileMode.Create)


            For z As Integer = 0 To a.GetUpperBound(0)


                    Dim buf(a.GetUpperBound(1))() As Byte


                    Dim zz As Integer = z

                    Parallel.For(0, buf.Length,
                                 Sub(y)
                                buf(y) = {}
                                For x As Integer = 0 To a.GetUpperBound(2)

                                    buf(y) = buf(y).Concat(enc.GetBytes(a(zz, y, x).ToString())).ToArray()

                                Next

                                 End Sub)

                   For Each b In buf
                        stream.Write(b, 0, b.Length)
                        stream.WriteByte(&HD)       'CR
                        stream.WriteByte(&HA)       'LF
                  Next b


            Next z


        End Using
    End Sub

■No83414 (バカボドン さん) に返信
> 外側のループを減らすために、以下のようにxyまるごと配列にして出力する方法も試してみましたが
> なぜか10倍くらい遅くなってしまいました

改良案
    Sub GetBytesAndWriteASync5(ByVal a(,,) As Single, ByVal enc As Encoding, ByVal path As String)
        Using stream As New StreamWriter(path, FileMode.Create)
            For z As Integer = 0 To a.GetUpperBound(0)
                Dim buf(a.GetUpperBound(1)) As StringWriter
                Dim zz As Integer = z
                Parallel.For(0, buf.Length,
                             Sub(y)
                                 buf(y) = New StringWriter()
                                 For x As Integer = 0 To a.GetUpperBound(2)
                                     buf(y).WriteLine(a(zz, y, x))
                                 Next
                             End Sub
                )

                For Each b In buf
                    stream.Write(b.ToString())
                Next b
            Next z
        End Using
    End Sub

追記
For Each b In buf
をTask化すれば、さらに速くなる