关于采集站图片存储问题

xu6882611

大名鼎鼎的kknews.cc想必大家都看过，比较好奇这样的网站大量采集后图片是如何落地的。

sead

如果是我，会采用图片地址加密推送到数据库，然后用加密后的字串查询原地址用作后续的图片下载（没有下载好的图片curl转发的同时保存图片）由于图片量大，可以截取前几位字母用于目录分层

河小马

太简单了啊

object storage

or block storage

都可以很好的完成任务

或者买个大容量的存储服务器，都是图片，又不是视频

xu6882611

sead 发表于 2022-9-14 13:28
如果是我，会采用图片地址加密推送到数据库，然后用加密后的字串查询原地址用作后续的图片下载（没有下载好 ...

你这个想法我也思考过，终归还是要一个大盘机。我最近在思考能不能用免费的云存储注册大量帐号轮询上传。

xu6882611

河小马 发表于 2022-9-14 13:30
太简单了啊

object storage

云存储还是有些贵，毕竟垃圾站他不配。综合成本需要考虑性价比。

sead

xu6882611 发表于 2022-9-14 13:33
你这个想法我也思考过，终归还是要一个大盘机。我最近在思考能不能用免费的云存储注册大量帐号轮询上传。 ...

加密后的字串好处是直接目录寻址，数据库可以一直保持轻量化，下载好的图片地址可以删掉记录。

sead

xu6882611 发表于 2022-9-14 13:39
云存储还是有些贵，毕竟垃圾站他不配。综合成本需要考虑性价比。

dreamhost 硬盘好像不限量 一年没多少钱

河小马

xu6882611 发表于 2022-9-14 13:39
云存储还是有些贵，毕竟垃圾站他不配。综合成本需要考虑性价比。

很便宜的，其实

别找那些大厂

xu6882611

sead 发表于 2022-9-14 13:46
dreamhost 硬盘好像不限量 一年没多少钱

vpsdime这个也便宜的啊，已经用了很多年了。他们家的vps唯一好处就是大内存，之前用java写爬虫用的就是他们家月付7刀vps。openvz架构现在也支持docker。
cloudinary这个云存储只要是个邮箱就可以注册，很早之前注册的5个账号现在还能用。账号忘记了但是api key还在，前几天实验了一下还是可以正常上传下载。
我想的轻量级方案就是白嫖。

weilingwei

xu6882611 发表于 2022-9-14 14:53
vpsdime这个也便宜的啊，已经用了很多年了。他们家的vps唯一好处就是大内存，之前用java写爬虫用的就是他 ...

vpsdime 4核6g 晚上高峰速度怎么样？ 有没有大硬盘便宜的vps推荐? wp静态文件处理，需要很大硬盘

xu6882611

weilingwei 发表于 2022-9-14 16:20
vpsdime 4核6g 晚上高峰速度怎么样？ 有没有大硬盘便宜的vps推荐? wp静态文件处理，需要很大硬盘 ...

vpsdime大盘机我没用过，只用过七刀的VPS.我也在找大盘机。

newcb

xu6882611 发表于 2022-9-14 14:53
vpsdime这个也便宜的啊，已经用了很多年了。他们家的vps唯一好处就是大内存，之前用java写爬虫用的就是他 ...

是便宜。

yrj

我存b2，因为便宜。虽然没有大盘鸡能打。但是贵在搬家不折腾。

xu6882611

yrj 发表于 2022-9-15 00:14
我存b2，因为便宜。虽然没有大盘鸡能打。但是贵在搬家不折腾。

b2是啥？

yrj

xu6882611 发表于 2022-9-15 07:40
b2是啥？

关键词 backblaze b2