大数据这些Pandas演示tips

Pandas在数据分析中的重要作用不必多言。不管是Confluence上的一篇文章、GitHub中Readme文档，抑或一篇科学论文，每个项目都会以报告之类来收尾。

使用Pandas，就不必再将数据帧(DataFrame)里的值逐一复制到另一个软件中，它的格式化函数能够将数据帧转换成多种格式。

无论是学生、数据科学家还是博士研究人员，这些技巧都一定能帮到你。

图源：medium.com

下载Jupyter notebook，一起动动小手来试试吧!

设置

创建一个10行3列的数据帧，数值随机。

1. n =10 
2. df = pd.DataFrame( 
3.     { 
4.         "col1": np.random.random_sample(n), 
5.         "col2": np.random.random_sample(n), 
6.         "col3": [[random.randint(0,10) for _ in range(random.randint(3, 5))] for _ inrange(n)], 
7.     } 
8. ) 

与html共享结果

通过使用to_html函数，可以将Pandas数据帧转换为HTML，这对于通过HTML发送自动报告十分有用。还可以在pandas分析服务器上制作API，这样就可以在网页浏览器的数据帧中追踪最新数值。

注意，这需要用到lxml软件包，可以用pip安装lxml。

1. dfdf_html =df.to_html()with open( analysis.html ,  w ) as f: 
2.     f.write(df_html) 

read_html函数甚至可以将HTML解析为pandas数据帧。笔者还没有使用过通用HTML进行尝试，但无疑会很有用。

1. df_list =pd.read_html( analysis.html ) 
2. df_list 

编写文件

在代码中编写注释时，将数据帧转换为字符串会非常有用。

1. print(df.to_string()) 

Excel电子表格

Excel的大佬地位毋庸置疑，而Pandas能够将数据帧转化为Excel电子表格。使用pandas，人们可以轻松阅读Excel电子表格。

注意，需要xlwt和openpyxl软件包，可以用pip进行安装。

1. df.to_excel( analysis.xlsx ,index=False) 

1. pd.read_excel( analysis.xlsx ) 

Github创作

在存储库中，Github使用Markdown格式语言来编写README和Wiki文件。一个优秀的README文件能让项目更有可能被其他人采用。虽然在GitHub上逐步进行示范相当普遍，但将pandas数据帧手动格式化为markdown标记语言，会花费大量时间。这时Pandas可就帮了我们大忙。

1. print(df.to_markdown()) 

撰写科学论文

大部分高质量的研究论文都是用LaTeX——一个高质量的排版系统编写而成。许多LaTeX作者制作数据帧截图，然后放在自己的论文中，还有许多人花了相当多的时间将数据帧的值格式化为LaTe X表格。

图源：unsplash

pandas中的to_latex函数可以帮助人们完成繁重的任务。来看看这个例子：

1. df.to_latex() 

结合使用print函数，你可以得到一个格式工整的输出结果。

1. print(df.to_latex()) 

这些技巧帮到你了吗?

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。