C# と VB.NET の質問掲示板

 123.456 
 555.445 
 1.22234 
 6633.13 
・・・

のような各行に数値データが格納された大きなファイルサイズのテキストファイルがあり
これをVB.NETを使って、Single配列に読み出したいと考えています。

各行の文字数は固定ですが、
数値の前後に任意の数のスペースがあり、
また、小数点の位置も固定ではありません。

普通に、UTF8モードで、テキストして読み込み、
Val()で数値化すると数秒程度かかるため、
これをできるだけ短縮したいと考えています。

恐らく、バイトデータをテキストデータに変換するところが
もっとも時間がかかっているはずなので、
バイトデータから直接数値データに変換できれば
高速化できるのではないかと考えています。


普通にやるなら、
If文を使って、

If ByteValue = 48 then

	Out = 0 

Elseif ByteValue = 49 then

	Out = 1

Elseif ByteValue = 50 then

	Out = 2

・・・

みたいなIf文を使って、各文字列（バイトデータ）を数値化してから、

OutWhole = Out1 * 1000 + Out2 * 100 + Out3 * 10 ＋・・・

みたいに各行ごとに数値の合計値を出力すれば良いとは思います。

でも、普通にテキストファイルから変換するのと比べて
こちらの方が何倍くらい高速化が見込めるのでしょうか？

2ビットの場合、ビットシフトが高速だと思いますが
10進数の場合には上記のように足し算するしかないのでしょうか？

また、上記の方法よりも
もっと高速化できるアルゴリズムがあれば
お教えいただけないでしょうか？

■No100192 (KOZ) に返信
> ただ、VB.NET で変換なしで処理するとかえって遅くなりそうな気もします。

Public Function BytesToSingle(value As Byte()) As Single
    Dim summary As Long
    Dim decimalPoint As Integer = value.Length - 1
    For i As Integer = 0 To value.Length - 1
        If value(i) = &H2E Then
            decimalPoint = i
        Else
            summary = summary * 10 + value(i) - &H30
        End If
    Next
    Return CSng(summary / (10 ^ (value.Length - decimalPoint - 1)))
End Function

とりあえず、こんな形でメソッドを作ってみましたが、どうなんでしょうね？

■No100193 (KOZ) に返信
> とりあえず、こんな形でメソッドを作ってみましたが、どうなんでしょうね？

ということで FIGHT!

Option Strict On

Imports System.Text

Module Module1

    Sub Main()
        Dim Bytes As Byte() = Encoding.ASCII.GetBytes("123.456")
        Watch(Sub()
                  Dim value As Single = BytesToSingle(Bytes)
              End Sub)
        Watch(Sub()
                  Dim value As Single = CSng(Val(Encoding.ASCII.GetString(Bytes)))
              End Sub)
    End Sub

    Private Sub Watch(action As Action)
        Dim sw As New Stopwatch()
        sw.Start()
        For i As Integer = 1 To 1000000
            action.Invoke()
        Next
        sw.Stop()
        Console.WriteLine("{0} ms", sw.ElapsedMilliseconds)
    End Sub

    Public Function BytesToSingle(value As Byte()) As Single
        Dim summary As Long
        Dim decimalPoint As Integer = value.Length - 1
        For i As Integer = 0 To value.Length - 1
            If value(i) = &H2E Then
                decimalPoint = i
            Else
                summary = summary * 10 + value(i) - &H30
            End If
        Next
        Return CSng(summary / (10 ^ (value.Length - decimalPoint - 1)))
    End Function

End Module

Debug ビルドだと

120 ms くらい
145 ms くらい

Release ビルド＋詳細コンパイルオプションの「整数オーバーフローのチェックを削除」をチェックして

60 ms くらい
145 ms くらい

「整数オーバーフローのチェックを削除」をチェックしなければ

70 ms くらい
145 ms くらい

こんなかんじです。チリツモで少しは効果があるかもしれません。

最初の話からして、
String型を一文字づつ切り出すと、Char型になって、その実体はASCIIコードだって
ことまでは分かってそうですね。

であるなら、
 > If ByteValue = 48 then
とかやってる場合ではないです。if文は遅いです。

VBの文法が分からないので、以下C#ですが、
  Out  = ByteValue - (int)'0';
とすれば、整数演算だけで数値化できます。

その後のコードも分かってそうですので以下略。

if文と整数演算の速度差は大きいと思うのですが、
こちらでは試していません。一度、お試しあれ。

私の環境でテスト
    Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

        Dim line As String = ""     '行テキスト
        Dim al As New ArrayList     '配列
        Dim count As Long = 0       '行数
        Const CSVPath = "D:\Visual Studio 2022\CSVConvTest\test.csv"

        ' 経過時間計測
        Dim sw As New System.Diagnostics.Stopwatch()
        sw.Start()

        Using sr As StreamReader = New StreamReader(CSVPath, Encoding.GetEncoding("Shift_JIS"))

            line = sr.ReadLine()
            Do Until line Is Nothing
                al.Add(CSng(line))
                line = sr.ReadLine()
                count += 1
            Loop

        End Using

        ' 経過時間計測
        sw.Stop()

        '経過時間を出力する
        Console.WriteLine("{0}msec {1}count", sw.ElapsedMilliseconds, count)
    End Sub

191msec 100000count
218msec 100000count
186msec 100000count
190msec 100000count
186msec 100000count
195msec 100000count
193msec 100000count
203msec 100000count
191msec 100000count
177msec 100000count

そんな遅くないんだけれども...