<br><br><div class="gmail_quote">On Sat, Jun 20, 2009 at 6:08 PM, Robert Kern <span dir="ltr">&lt;<a href="mailto:robert.kern@gmail.com">robert.kern@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="im">On Sat, Jun 20, 2009 at 16:33, Ralf Gommers &lt;<a href="mailto:ralf.gommers@googlemail.com">ralf.gommers@googlemail.com</a>&gt; wrote:<br>
&gt;<br>
&gt; Hi,<br>
&gt;<br>
&gt; I&#39;m working on the I/O documentation, and have a bunch of questions.<br>
&gt;<br>
&gt; 1. The npy/npz formats are documented in lib.format and in the NEP (<a href="http://svn.scipy.org/svn/numpy/trunk/doc/neps/npy-format.txt" target="_blank">http://svn.scipy.org/svn/numpy/trunk/doc/neps/npy-format.txt</a>). Is lib.format the right place to add relevant parts of the NEP, or would <a href="http://doc.io" target="_blank">doc.io</a> be better?<br>

<br>
</div>What parts?<br>
<div class="im"></div></blockquote><div><br>- abstract (i.e. what is this, what&#39;s it good for)<br>- comparison with pickle, memmep<br>- most of the items in &quot;Requirements&quot;<br>- extension info (.npy/.npz, not enforced)<br>
<br>Right now lib.format does not contain the word &quot;binary&quot;, or &quot;.npy&quot;. We need a complete description in the reference guide that functions like `save` and `load` can reference.<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="im"><br>
&gt; Or create a separate page (maybe doc.npy_format)?<br>
<br>
</div>Probably all of the implemented NEPs should have their own place in<br>
the documentation and other parts should reference the NEPs for<br>
technical detail.<br>
<div class="im"></div></blockquote><div><br>Good point, NEPs should be somewhere in the docs. However, they do not seem appropriate to refer users to, paragraphs like Rationale, Use Cases, Implementation are not aimed directly at users.<br>
 </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="im"><br>
&gt; And is the .npz format fixed or still in flux?<br>
<br>
</div>It&#39;s not as formalized as the .npy format, but I expect it to be at<br>
least as solid as other code in numpy.<br>
<div class="im"><br>
&gt; 2. Is the .npy format version number (now at 1.0) independent of the numpy version numbering, when is it incremented, and will it be backwards compatible?<br>
<br>
</div>It is independent of numpy version numbering. If we do upgrade the<br>
format, the code in <a href="http://numpy.io" target="_blank">numpy.io</a> will still be able to read and write 1.0<br>
files.<br>
<div class="im"><br>
&gt; 4. This page <a href="http://www.scipy.org/Data_sets_and_examples" target="_blank">http://www.scipy.org/Data_sets_and_examples</a> talks about including data sets with scipy, has this happened? Would it be possible to include a single small dataset in numpy for use in examples?<br>

<br>
</div>I think the dataset convention is entirely independent of numpy per<br>
se. The current version of this stuff is in the scikits.learn package:<br>
<br>
<a href="http://svn.scipy.org/svn/scikits/trunk/learn/scikits/learn/datasets/" target="_blank">http://svn.scipy.org/svn/scikits/trunk/learn/scikits/learn/datasets/</a><br>
<br>
The proposal could be turned into an &quot;informative&quot; NEP, of course. It<br>
needs to be updated, though (e.g. it talks about not needing to<br>
combine masked arrays and record arrays, but this has already been<br>
done with the <a href="http://numpy.ma" target="_blank">numpy.ma</a> rewrite).<br>
</blockquote><div><br>Interesting, might be useful for all sorts of examples in docstrings and especially tutorial-style docs. David, do you still plan to put this forward for inclusion in numpy or scipy?<br><br>Ralf<br>
<br></div></div>