I&#39;m working on a linux server.  the memory is like: <br><br>ychao@obelix2 - ...CRU_NEW - 29 &gt;free -m<br>             total       used       free     shared    buffers     cached<br>Mem:          5850       5637        212          0          6       4589<br>
-/+ buffers/cache:       1041       4809<br>Swap:        16383        386      15997<br><br>There is no specific information on why ipython crashed.<br><br>Now my solution is that I use awk to organize the file into ~1000 files by their year.<br>
<br>cheers,<br><br>Chao<br><br><br><div class="gmail_quote">2012/3/20 Wes McKinney <span dir="ltr">&lt;<a href="mailto:wesmckinn@gmail.com">wesmckinn@gmail.com</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5">On Tue, Mar 20, 2012 at 8:32 AM, Chao YUE &lt;<a href="mailto:chaoyuejoy@gmail.com">chaoyuejoy@gmail.com</a>&gt; wrote:<br>
&gt; Dear all,<br>
&gt;<br>
&gt; I received a file from others which contains ~30 million lines and in size<br>
&gt; of ~500M.<br>
&gt; I try read it with numpy.genfromtxt in ipython interactive mode. Then<br>
&gt; ipython crashed.<br>
&gt; The data contains lat,lon,var1,year, the year ranges from 1001 to 2006.<br>
&gt; Finally I want to write the<br>
&gt; data to netcdf for separate years and feed them into the model. I guess I<br>
&gt; need a better way to do this?<br>
&gt; anyone would be any idea is highly appreciated.<br>
&gt;<br>
&gt;<br>
&gt; lon,lat,year,area_burned<br>
&gt; -180.0,65.0,1001,0<br>
&gt; -180.0,65.0,1002,0<br>
&gt; -180.0,65.0,1003,0<br>
&gt; -180.0,65.0,1004,0<br>
&gt; -180.0,65.0,1005,0<br>
&gt; -180.0,65.0,1006,0<br>
&gt; -180.0,65.0,1007,0<br>
&gt;<br>
&gt; thanks and cheers,<br>
&gt;<br>
&gt; Chao<br>
&gt; --<br>
&gt; ***********************************************************************************<br>
&gt; Chao YUE<br>
&gt; Laboratoire des Sciences du Climat et de l&#39;Environnement (LSCE-IPSL)<br>
&gt; UMR 1572 CEA-CNRS-UVSQ<br>
&gt; Batiment 712 - Pe 119<br>
&gt; 91191 GIF Sur YVETTE Cedex<br>
&gt; Tel: (33) 01 69 08 29 02; Fax:01.69.08.77.16<br>
&gt; ************************************************************************************<br>
&gt;<br>
&gt;<br>
</div></div>&gt; _______________________________________________<br>
&gt; IPython-User mailing list<br>
&gt; <a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
&gt;<br>
<br>
You&#39;re definitely going to have memory problems reading a file of that<br>
size (30MM rows x 4 columns = 120 MM Python objects, 2-3 GB minimum on<br>
a 64-bit platform). I&#39;ve been beating the drum about doing something<br>
about this, but it&#39;s still a ways off. So I suspect your machine is<br>
swapping but not sure why that is causing IPython to crash<br>
_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
</blockquote></div><br><br clear="all"><br>-- <br><div>***********************************************************************************</div>
<div>Chao YUE<br>Laboratoire des Sciences du Climat et de l&#39;Environnement (LSCE-IPSL)<br>UMR 1572 CEA-CNRS-UVSQ<br>Batiment 712 - Pe 119<br>91191 GIF Sur YVETTE Cedex</div>
<div>Tel: (33) 01 69 08 29 02; Fax:01.69.08.77.16<br></div>

<div>************************************************************************************</div><br>