C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

Re[3]: メモリを浪費せず大量データをOracleへ反映

分類:[VB.NET/VB2005 以降]　

VB2005,WindowsXP SP3（クライアント）、Oracle 11g R1+Windows Server 2003（DBサーバ）で開発しています。テストファイルから10万行か100万行（1レコード400byte）
のレコードを読み取り、他のテーブルを参照したり1レコードから子レコードを生成してOracleへ反映しています。ところがこのプログラムを実行するとどんどんメモリを食い、１GBくらい使ってOutOfMemory例外で落ちてしまいます（クライアント環境：メモリ３G搭載）。また、ハードのスペックが高いサーバ上で実行すると落ちなくなりましたが、タスクマネージャでプロセスを見ていると1.5GBまで使っています。取り込んだデータは最初dataTableに溜め込みUpdateしていましたが、ガーベージを行ってもメモリ使用量が減らないので、1行読み込んだら反映すべきデータをコマンドオブジェクト(ADO.NET)を使ってテーブルを更新してもメモリ消費量はほぼ変わりませんでした。こういった大量デーを処理する際、メモリを極力使わないようにして、かつ処理速度もあまりに遅くならないように処理する方法は無いでしょうか。

なんちゅーか、こー、どこで（なにが）メモリをそれだけ使っているのか？とかを調べてみてもらわないないことにはなんとも。

> のレコードを読み取り、他のテーブルを参照したり1レコードから子レコードを生成してOracleへ反映しています。

　　この処理自体をDataTable上で行っています？
　　またやはりDataTable使っているのがメモリ食いの原因かと。

　　SQL文１発でUPDATEするような方法書ければ、5000～10000件づつ構造体配列に
　　読み込んで処理するば、速度もそこそこなんとかなるのでは・・・と。

　　あと、それでもメモリを食うようであれば、Oracleとの接続以降でインスタン
　　スが解放されていないバグがあるとか・・・
　　因みに、当初はODP.NETでしたか？ADO.NETで書き直しても同じ・・・とありま
　　すが、具体的にどうやっておられたのかを書かないと、上記だけでは、解消に
　　いたるコメントを得るのは難しいかと。

※　DevPartner Studio Professionalの評価版を使ってザックリとどこが悪いか、
　　解析に使うとか・・・昔、そうやってしのいだことあります。

以上。

■No58842 (idaten さん) に返信
> VB2005,WindowsXP SP3（クライアント）、Oracle 11g R1+Windows Server 2003（DBサーバ）で開発しています。テストファイルから10万行か100万行（1レコード400byte）
> のレコードを読み取り
違うかもしれませんがこれを一括で行ったりしてませんか？これだけで400MB取られます。

> ■No58842 (idaten さん) に返信
作業用の AppDomain を作成して、処理後に Unload してみてるとか

2011/05/02(Mon) 16:12:55 編集(投稿者)

渋木宏明さんも書かれていますが、まずは現状分析をもっとやらないと
検討もできないのではないかと思います。
もし既にやっていて結果を持っているのであれば、それも提示しないと無理かなと。

例えばですが、テキストファイルの処理部分とSQLの発行部分とか幾つかの部分に
分かれていると推測しますが、
SQLの発行処理を丸ごとコメントアウトしたらどうなるのかとか、
テキストファイルを読み込まずにメモリ上の固定情報だけで処理したらどうなるのかとか。
実際にはインクリメントしてデータを作成する必要もあるかもですが、
そういう感じで処理を一部動かない状態にして動かす事である程度メモリを大量に
消費している場所が分からないでしょうか？

メモリの消費量に関しては機能を少しずつ追加で組み込みながら監視するとどの段階で
利用メモリが急に増えたのかがわかると思うのです。
もしかしたら処理全体の積み上げてそうなっている可能性も有るかもしれません。

C# と VB.NET の質問掲示板

ASP.NET、C++/CLI、Java 何でもどうぞ

C# と VB.NET の入門サイト

Re[3]: メモリを浪費せず大量データをOracleへ反映

過去ログには書き込み不可