<br><br><div class="gmail_quote">On Fri, Mar 12, 2010 at 11:22 AM, Paul Anton Letnes <span dir="ltr">&lt;<a href="mailto:paul.anton.letnes@gmail.com">paul.anton.letnes@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
On 11. mars 2010, at 23.50, Lafras Uys wrote:<br>
<br>
&gt; -----BEGIN PGP SIGNED MESSAGE-----<br>
&gt; Hash: SHA1<br>
&gt;<br>
&gt;&gt;&gt; I need to save a fairly large set of arrays to disk. I have saved it using<br>
&gt;&gt;&gt; numpy.savez, and the resulting file is around 11Gb (yes, I did say fairly<br>
&gt;&gt;&gt; large ;D). When I try to load it using numpy.load, the zipfile module<br>
&gt;&gt;&gt; compains about<br>
&gt;&gt;&gt; BadZipfile: Bad magic number for file header<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I can&#39;t open it with the normal zip utility present on the system, but it<br>
&gt;&gt;&gt; could be that it&#39;s barfing about files being larger than 2Gb.<br>
&gt;&gt;&gt; Is there some file limit for npzs?<br>
&gt;&gt;<br>
&gt;&gt; Yes, the ZIP file format has a 4GB limit. Unfortunately, Python does<br>
&gt;&gt; not yet support the ZIP64 format.<br>
&gt;&gt;<br>
&gt;&gt;&gt; Is there anyway I can recover the data (I<br>
&gt;&gt;&gt; guess I could try decompressing the file with 7z and extracting the<br>
&gt;&gt;&gt; individual npy files?)<br>
&gt;&gt;<br>
&gt;&gt; Possibly. However, if the normal zip utility isn&#39;t working, 7z<br>
&gt;&gt; probably won&#39;t, either. Worth a try, though.<br>
&gt;<br>
&gt; I&#39;ve had similar problems, my solution was to move to HDF5. There are<br>
&gt; two options for accessing and working with HDF files from python: h5py<br>
&gt; (<a href="http://code.google.com/p/h5py/" target="_blank">http://code.google.com/p/h5py/</a>) and pytables<br>
&gt; (<a href="http://www.pytables.org/" target="_blank">http://www.pytables.org/</a>). Both packages have built in numpy support.<br>
&gt;<br>
&gt; Regards,<br>
&gt; Lafras<br>
<br>
I&#39;ve experienced similar issues too, but I moved to NetCDF. The only disadvantage was that I did not find any python modules that work well _and_ support numpy. Hence, I am considering moving to HDF5. Which python module would people here recommend? (Or, alternatively, did I miss a great netCDF python module that someone could tell me about?)<br>

<br>
Cheers,<br>
Paul.<br>
_______________________________________________<br>
SciPy-User mailing list<br>
<a href="mailto:SciPy-User@scipy.org">SciPy-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/scipy-user" target="_blank">http://mail.scipy.org/mailman/listinfo/scipy-user</a><br>
</blockquote></div><br>There is <a href="http://code.google.com/p/netcdf4-python/">http://code.google.com/p/netcdf4-python/</a><br><br>I know netcdf4 is a subset of HDF5. What advantages there to use HDF5 not NetCDF4 ?<br>
<br clear="all"><br>-- <br>Gökhan<br>