<div dir="ltr">Hi Peter,<div><br></div><div>I wasn&#39;t aware of the Core Provenance Library but it looks like a very interesting project. I&#39;ll definitely check it out.</div><div><br></div><div>On a related note, in case people haven&#39;t seen it I just wanted to throw out a link to the Sumatra  [1] project, which has a similar goal. However, as far as I could gather from its website, the Core Provenance Library seems to take a very different approach (by trying to be as unobtrusive for the workflow as possible, IIUC?). So I guess the link is not that useful for you, Peter, but I thought it might be of general interest. If anybody knows any other provenance tracking tools, I&#39;d be interested to hear about them.</div>

<div><br></div><div>Best regards,</div><div>Max</div><div><br></div><div>[1] <a href="http://pythonhosted.org/Sumatra/" target="_blank">http://pythonhosted.org/Sumatra/</a><br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/4/17 Peter Macko <span dir="ltr">&lt;<a href="mailto:pmacko@eecs.harvard.edu" target="_blank">pmacko@eecs.harvard.edu</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">



Hi iPython developers,<br>
<br>
Here is a new project idea: automatic lab notebook for iPython and<br>
iPython Notebook, which would keep track of how each of your output<br>
files was produced, linking this &quot;history&quot; (or a &quot;lineage&quot;) of an object<br>
across different iPython sessions and different iPython notebooks, and<br>
storing it persistently. This is frequently referred to in the Computer<br>
Science literature as &quot;provenance.&quot;<br>
<br>
It will enable you to ask questions like &quot;what did I do to produce this<br>
plot?&quot; - and for example, it will tell you that you downloaded the input<br>
data set on Monday from such and such website, you ran all these<br>
commands to process the data on Tuesday, and then produced this plot on<br>
Thursday from a different iPython session. Note that this goes beyond<br>
(and is complementary in purpose to) iPython Notebook, since the history<br>
of a file is tracked across different sessions and Notebooks, and when<br>
you ask a question, you will get only the relevant information,<br>
suppressing any additional things that you did that are unrelated to the<br>
file in which you are interested.<br>
<br>
We are in touch with computational scientists all the way from<br>
bioinformatics to physics that are very interested in this feature! We<br>
met their needs partially by developing a cross-platform, multi-lingual<br>
library (<a href="https://code.google.com/p/core-provenance-library/" target="_blank">https://code.google.com/p/core-provenance-library/</a>) that they<br>
can use to annotate their Python (and non-Python) scripts in order to<br>
track the lineage of their objects.<br>
<br>
Our vision is that this will be all done fully automatically, without<br>
requiring the users to manually annotate their scripts. But<br>
unfortunately neither of us who are involved in this project has the<br>
resources or the knowledge of the iPython code-base to tackle this<br>
challenge. We need your help to make this happen! We have some ideas<br>
about how we might go about this, but we need someone who knows more<br>
about iPython to talk them over and to spearhead the actual development.<br>
Please let us know if you can help!<br>
<br>
Thank you,<br>
<br>
Peter Macko<br>
<br>
Harvard School of Engineering and Applied Sciences<br>
33 Oxford St.<br>
Cambridge, MA 02138<br>
<br>
_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org" target="_blank">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</blockquote></div><br></div></div>