C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

Re[4]: プログレスバーでの進捗について・・・・

分類:[.NET 全般]　

本日、とてもお世話になっております。

プログレスバーの勉強をしているのですが、
どうしていいものか判らなくて質問させて下さい。

ＣＳＶファイルを読み込んで、
データベースに１行ずつインサートをするんですが、
（すみません、考えてるだけでまだ出来ていません）
進捗率を以下のように考えています。
（？？％完了ってよく見かける奴です）
iCount * 100 / iRowCount;

これって iRowCountを得るのに１行ごとに読み込んで
全行数を数えると、それに時間が掛かり、
実際に％表示でデータベースにインサートするまでに
プログレスバーが動かないんじゃないかなと思うのですが、

こう言った場合、どうするのでしょうか？

予定：
CSVFILE:20,000行
DB:SQLite

よろしくお願いします。

> ＣＳＶファイルを読み込んで、
> データベースに１行ずつインサートをするんですが、
> iCount * 100 / iRowCount;
>
> これって iRowCountを得るのに１行ごとに読み込んで
> 全行数を数えると、それに時間が掛かり、
> 実際に％表示でデータベースにインサートするまでに
> プログレスバーが動かないんじゃないかなと思うのですが、

１件のサイズが決まっていれば、FileInfoなどでファイルサイズを求めて割り算すれば件数がわかります。
それ以外は一気に読んでしまうことですが、
全体の件数を取得するのに時間がかかって本来の処理に影響があると本末転倒です。
仕様として「大きくても数メガのファイルが対象」など限定事項がある場合は一気に読んでしまうことはできます。
その後、読み込んだ配列やコレクションを基にループ処理をすればよいでしょう。

で、一気に読むことはできない場合の例です。
１．ファイルサイズを求めます。
２．1件処理するごとにデータの長さ(バイト)＋２バイト(改行コード)を求めて足しこんでいきます。
　　→足しこんだデータ長が処理済サイズになります。後は割り算。
※ファイルサイズはバイトですが、データの長さはほとんどの場合は文字数なので注意。

まどかさん

お返事ありがとうございます。
以下のようにして、行数を得ることが出来ました。

string[] strAllFile = File.ReadAllLines(@"C:\xxx\yyy\zzz.csv", Encoding.UTF8);
int iRowCount = strAllFile.Length;

これには、サイズを限定する必要があるってことですよね？？？？

■No14470 (まどかさん) に返信
>>ＣＳＶファイルを読み込んで、
>>データベースに１行ずつインサートをするんですが、
>>iCount * 100 / iRowCount;
>>
>>これって iRowCountを得るのに１行ごとに読み込んで
>>全行数を数えると、それに時間が掛かり、
>>実際に％表示でデータベースにインサートするまでに
>>プログレスバーが動かないんじゃないかなと思うのですが、
>
> １件のサイズが決まっていれば、FileInfoなどでファイルサイズを求めて割り算すれば件数がわかります。
> それ以外は一気に読んでしまうことですが、
> 全体の件数を取得するのに時間がかかって本来の処理に影響があると本末転倒です。
> 仕様として「大きくても数メガのファイルが対象」など限定事項がある場合は一気に読んでしまうことはできます。
> その後、読み込んだ配列やコレクションを基にループ処理をすればよいでしょう。
>
> で、一気に読むことはできない場合の例です。
> １．ファイルサイズを求めます。
> ２．1件処理するごとにデータの長さ(バイト)＋２バイト(改行コード)を求めて足しこんでいきます。
> 　　→足しこんだデータ長が処理済サイズになります。後は割り算。
> ※ファイルサイズはバイトですが、データの長さはほとんどの場合は文字数なので注意。

■No14476 (ぽん他さん) に返信
> string[] strAllFile = File.ReadAllLines(@"C:\xxx\yyy\zzz.csv", Encoding.UTF8);
UTF-8 形式の CSV ファイルは珍しいと思うのですが、そのコーディングは正しいのでしょうか?
(もしかして、Encoding.GetEncoding("Shift_JIS") では無いのかな、と思ったので)

> int iRowCount = strAllFile.Length;
> これには、サイズを限定する必要があるってことですよね？？？？
必要であるか、と問われると微妙なところです。
できれば、「サイズを限定した方が良い」とは思いますが、
「サイズを限定しなければいけない」というわけでは無いかと。

ただ、もしもサイズを限定するのであれば、超過していた場合の動作を
あらかじめ定めておかなければいけませんね。

案1) 超過時は「エラーとして処理を中止」
案2) 超過時は「進捗表示無しで取り込みを行う」
案3) 超過時は「別の方法で進捗判定を行う」

魔界の仮面弁士さん

お返事ありがとうございます。

> UTF-8 形式の CSV ファイルは珍しいと思うのですが、そのコーディングは正しいのでしょうか?
> (もしかして、Encoding.GetEncoding("Shift_JIS") では無いのかな、と思ったので)

すみません、今までWeb系処理ばかりやっていましたもので、
その時の癖で UTF-8 でやってました。

> ただ、もしもサイズを限定するのであれば、超過していた場合の動作を
> あらかじめ定めておかなければいけませんね。
>
> 案1) 超過時は「エラーとして処理を中止」
> 案2) 超過時は「進捗表示無しで取り込みを行う」
> 案3) 超過時は「別の方法で進捗判定を行う」

なるほどですね。納得です。

助かりました。ありがとうございました。

C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

Re[4]: プログレスバーでの進捗について・・・・

過去ログには書き込み不可