七牛上传报文件已存在

薄洪涛6年前PHP1531

之前做了一个大文件的分片上传,做好之后就没管了,让客户端一直自己用着,然后期间偶尔会有浏览器不兼容的现象我也懒得改,然后十一回来,客户端就给我说,有文件上传不上去,然后正好手头没活,就用改了下

先看下思路,这里做了分片上传,就是文件按照一小块一小块分片上传到服务器后,然后拼接,拉到七牛

拉到七牛的代码如下

/*
 * 上传到七牛
 */
public static function saveQiniuByUrl($file_url){
    $data = file_get_contents($file_url);
    //七牛的密钥、域名和空间
    $access_key = Yii::$app->params['access_key'];
    $secret_key = Yii::$app->params['secret_key'];
    $bucket = Yii::$app->params['bucket'];
    //上传7牛的文件的名字及路径
    $file_name =  basename($file_url);
    //授权
    $auth = new Auth($access_key,$secret_key);
    //生成token
    $token = $auth->uploadToken($bucket);
    $uploadManager = new UploadManager();
    list($ret,$err) = $uploadManager->put($token,$file_name,$data);
    if($err !== null){
        return false;
    }
    return Yii::$app->params['domain'].'/'.$file_name;
}

我只需要提供本地的组装好的文件的位置就可以

然后我打印了下七牛的返回

array (size=2)
  0 => null
  1 => 
    object(Qiniu\Http\Error)[89]      
    private 'url' => string 'http://up.qiniup.com' (length=20)
      private 'response' => 
        object(Qiniu\Http\Response)[88]          
        public 'statusCode' => int 614
          public 'headers' => 
            array (size=16)
              ...          
          public 'body' => string '{"error":"file exists"}' (length=23)
          public 'error' => string 'file exists' (length=11)
          private 'jsonData' => 
            array (size=1)
              ...          
              public 'duration' => float 12.178

关键的一句话,file exists

查了七牛的文档,我知道了原因,七牛判断文件是否相同是根据文件的key,即文件的名字,我上传文件到服务器后,保留了上传之前的名称,所以会出现这个问题,那我们如何避免用户上传相同key的文件呢?

七牛已经提供好了相应的算法,见 https://github.com/qiniu/qetag

算法大体如下:

  • 如果你能够确认文件 <= 4M,那么 hash = UrlsafeBase64([0x16, sha1(FileContent)])

  • 如果文件 > 4M,则 hash = UrlsafeBase64([0x96, sha1([sha1(Block1), sha1(Block2), ...])])

  • 其中 Block 是把文件内容切分为 4M 为单位的一个个块,也就是 BlockI = FileContent[I*4M:(I+1)*4M]

上传到七牛云存储的时候,key 是可选的。如果你不指定 key,则自动以 hash 值作为 key,此时自动带了消重能力。两个用户上传相同的文件,最终的 key 是一样的。

另外需要指出,当上传相同的文件时,七牛不会覆盖,只能你手动删除某个文件然后才能上传相同文件(如果你想覆盖的话)

我这里的解决就比较简单了,直接生成唯一的key拼接下就可以了

相关文章

php用curl模拟post请求接口的坑

php用curl模拟post请求接口的坑

我们的接口是用java实现的,然后我需要用php去调用下接口,请求方式为post,需要传一个数组过去(不是json_encode的那种),之前的时候,是这么写的$post_params =&...

workerMan之心跳检测

workerMan之心跳检测

上次咱们说到,长连接应用必须加心跳检测,避免连接由于上时间没有通讯被断开其实心跳的作用有2个:1、客户端定时给服务器发送数据,防止连接由于长时间没有通讯被断开2、服务端可以通过心跳来判断客户端是否在线...

Elasticsearch按照日期聚合

Elasticsearch按照日期聚合

我们现在做的是医疗的业务,有个需求是这样的,查询出某位医生前七天的坐诊记录,并且,医生的坐诊记录是不连续的,这样就需要写一个dsl语句来实现es库的搜索首先我使用了es库中的聚合功能,按照日期去聚合,...

Yii2.0 文件队列的使用

最近做了一个文件上传+处理的功能,需求是这样的,上传并读取.doc文件,并解析里面的内容入库读取文件并入库是使用python处理的,每个文件大约需要处理5-6秒,上传是使用的Yii2,我这里的思路是把...

Elasticsearch集群第一篇之安装

Elasticsearch集群第一篇之安装

    全文搜索属于最常见的需求,开源的 Elasticsearch (以下简称 Elastic)是目前全文搜索引擎的首选。它可以快速地储存...

不同语言AES加密结果不同

不同语言AES加密结果不同

最近一直在和某保险公司的联调接口,他们的接口是AES加密过的,就是请求的报文体需要加密,返回的报文体需要解密;java实现的,然后我这边用php去调用,发现先了一件诡异的事情,两种语言的加密结果不一致...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。