请教一个采集数据的前端展示问题

dengwen168

请问一下，

将爬取到的数据存入数据库，然后在前端展示出来，

如何解决数据格式化的问题？

比如：我通过一些api得到一些文本数据，这些数据就是一段，中间没有换行符、分段符这些，我存入数据库，再在自己网站展示的话，也是一段，中间没有分段，换行，很难看。

从网站直接抓取数据也是类似的情况，比如用python的request库，直接取的结果的content，直接过滤掉了分段，换行符，那么到时前端展示也变成了一段。

请问这个有好的解决方法么？可以维持原来网站的展示格式，谢谢。               

54clz

分段，换行符也一起入库

wxiao333

分段，换行符也一起入库 是一个办法，但是有可能会把杂七杂八的东西也一起弄进来。
最好还是自己写个程序处理下吧
简单点 比如 存成字符串list，list之间每个元素为一个br，
或者 再存一个 标签list
目前暂时没有想到什么其他更好的办法，感觉也不一定是最优的办法，只是能凑合用一下

wxiao333

另外楼主你2018年就问过这个问题了，还没解决么
https://www.advertcn.com/thread-84034-1-1.html

朝阳风雨

你可以把最外层的标签包含所有内容取出来，然后插入你自己的标签里面，这样就可以保持原有的格式。

dengwen168

wxiao333 发表于 2020-3-12 09:43
另外楼主你2018年就问过这个问题了，还没解决么
https://www.advertcn.com/thread-84034-1-1.html ...

是啊，

去年一年搞量化去了，没搞网站。有的网站主机都过期了。

结果搞量化没赚到钱，还亏了，想再搞网站赚点生活费。

yincthh

现在那么多插件，直接保存换行符啊。

河小马

yincthh 发表于 2020-3-12 16:41
现在那么多插件，直接保存换行符啊。

好久没看到你了。。还在做amazon？

54clz

wxiao333 发表于 2020-3-12 09:42
分段，换行符也一起入库 是一个办法，但是有可能会把杂七杂八的东西也一起弄进来。
最好还是自己写个程序处 ...

采集的时候只留下<p><br>标签，其它所有标签都去掉，应该就不会有杂七杂八的东西了

yincthh

河小马 发表于 2020-3-12 18:03
好久没看到你了。。还在做amazon？

不做了。现在亚马逊疯了，各种互相留差评。

newcb

yincthh 发表于 2020-3-13 15:45
不做了。现在亚马逊疯了，各种互相留差评。

开始互相伤害了吗？

metrozkj

pandas来组织你的数据,然后pd.DataFrame.to_sql存数据库,既然你做过量化,肯定对pandas很熟悉吧