<br><br><div class="gmail_quote">On Sun, Oct 18, 2009 at 11:47 PM, Brian Granger <span dir="ltr">&lt;<a href="http://ellisonbg.net">ellisonbg.net</a>@<a href="http://gmail.com">gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br><div class="gmail_quote"><div class="im"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="gmail_quote"><div>You are right on your suspicion. I was making a clean run on each file. That is deleting everything except the sea files in the folders. With this configuration multiprocessing module&#39;s pooling approach doesn&#39;t work. It cannot branch into the external script completely. However when I leave the processed outputs in the folders and run the script it works and takes much less than IPython&#39;s parallelism. Not the question is how to explain this behaviour.<br>


<br>End of my 2.4 to 2.7X speed-up happiness :)<br><br></div></div></blockquote></div><div><br>I know this form experience.  Every time I have had speedups that were too good to be true, there was always something hidden<br>
that ended the pipe-dream.<br>
<br>But I just want to clarify a few points:<br><br>* What is the len of the iterable that you pass to the various parallel versions of map?<br></div></div></blockquote><div><br>4 elements, 4 file names and file path. In multiprocessing case I combine these into one iterable<br>
 </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="gmail_quote"><div><br>* About how long on average does it take to compute things for one element of the iterable?<br>
</div></div></blockquote><div><br>3 to 5 minutes depends on the length of the file. Actually each sea file corresponds to measurements that were taken from aircraft flights containing atmospheric measurement data -cloud microphysical data in specific.<br>
 </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="gmail_quote"><div>
<br>Because I don&#39;t have the data, I can&#39;t tell these things from your scripts.<br></div></div></blockquote><div><br>I can send the data, however it would take at least a good 2 days to make your computer fully processing the dataset :) providing that you will find an access to IDL. In the project the code is open-source, but majority of it written with IDL, and there are many mixed open languages. Still it takes too much to make installation. That&#39;s why I keep saying to unify in our research group and use Python :)<br>
 </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="gmail_quote"><div><br>Cheers,<br><br>Brian<br></div></div>
</blockquote></div><br><br clear="all"><br>-- <br>Gökhan<br>