C# と VB.NET の質問掲示板

■No25034 (なかた さん) に返信
> はじめまして。VB6.0でCSVをファイルマッピングで読み込み、
CreateFileMapping API 等でしょうか?


> Splitで改行コード（vbcrlf）で配列に分割するのに30秒〜40秒くらいかかります。
これはつまり、
　Dim csv As String
　csv = [サイズ40MB相当の文字列]
の処理は、(ファイルマッピング等により)数秒程度まで短縮できたが、その後の
　list = Split( [サイズ40MB相当の文字列], vbCrLf)
の処理に、数十秒かかるという事でしょうか?


手元の環境で試してみましたが、15列×3.6万行の CSV データ
(サイズでいうと、45,961,380 バイト) のファイルでも、API 無しで
読み込みから Split まで、6 秒未満程度で完了するのですが…。


Option Explicit

Private CSV As String
Private rows() As String
Private Sub Command1_Click()
    Dim before As Single
    Dim after As Single
    before = Timer
    
    rows = Split(CSV, vbCrLf)
    
    after = Timer
    Debug.Print "Split:"; after - before, "("; before, after; ")"
End Sub

Private Sub Form_Load()
    Dim before As Single
    Dim after As Single
    before = Timer

    Dim stm As ADODB.Stream
    Set stm = New ADODB.Stream
    stm.Type = adTypeBinary
    stm.Open
    stm.LoadFromFile "C:\Book1.csv"
    Dim b() As Byte
    b = stm.Read(adReadAll) '
    stm.Close
    CSV = StrConv(b, vbUnicode)

    after = Timer
    Debug.Print " Load:"; after - before, "("; before, after; ")"
End Sub

■No25037 (魔界の仮面弁士 さん) に返信
>>Splitで改行コード（vbcrlf）で配列に分割するのに30秒〜40秒くらいかかります。
> 手元の環境で試してみましたが、15列×3.6万行の CSV データ
> (サイズでいうと、45,961,380 バイト) のファイルでも、API 無しで
> 読み込みから Split まで、6 秒未満程度で完了するのですが…。

もしかして、カンマ区切りでも分割し、二次元配列あるいはジャグ配列にしているのかと思い、
コードに手を加えてみましたが、それでも +3.5 秒程度の増加にしかなりませんでした。

数十秒という結果にならない所を見ると、
　・データ内容の違い(カンマを含むデータなども考慮している?)
　・実行環境による違い(マシンスペック、あるいは常駐セキュリティソフトによる速度低下など)
　・そもそものコードの違い
など、他の要因があるのかも知れませんが、これ以上は分かりません。m(_ _;)m


Private CSV As String
Private rows() As String
Private matrix() As Variant

Private Sub Command2_Click()
    rows = Split(CSV, vbCrLf)
    ReDim matrix(UBound(rows))

    Dim n As Long
    For n = LBound(rows) To UBound(rows)
        matrix(n) = Split(rows(n), ",")
    Next
End Sub

# OS: WindowsXP Service Pack 3
# VB: Visual Basic 6.0 Service Pack 6
# PC: DELL DIMENSION C521
# CPU: AMD Athlon 64 3800+ (2.0GHz)
# MEM: 2048MB

■No25059 (なかた さん) に返信
> 行数に比例して時間がかかるのでしょうか？

試しに、300万行(94.2MB) のファイルを使って実行したところ、7回平均で144秒程度かかりました。

# OS: Windows Vista Business (x64) Service Pack 無し
# VB: Visual Basic 6.0 Service Pack 6
# PC: HP Compaq 2710p Tablet
# CPU: 超低電圧版 Core 2 Duo U7500 (1.06GHz)
# MEM: 4096MB

環境が異なるので、単純な比較はできませんが、
　  3.6万行 : 2.8〜3.2秒 : 私の環境  (No25037)  …… 単純計算で「1.1〜1.2万行/秒」
　 30.0万行 :  30〜40秒  : なかたさん(No25034)  …… 単純計算で「0.8〜1.0万行/秒」
　300.0万行 : 140〜150秒 : 私の環境  (No25060)  …… 単純計算で「2.0〜2.1万行/秒」
という結果でした。

HDD速度やメモリ量など、マシンスペックやデータ量にもよるのでしょうが、
どうやら秒間1〜2万行が Split の処理限界といったところなのかも知れません。