Amazon s3连接Ceph时出现Service: Amazon S3; Status Code: 403; Error Code: AccessDenied的异常

点击数:18Java S3 客户端连接 Ceph 一段时间后出现了这种异常,未能排查出具体的原因。从错误状态看是访问拒绝,猜测可能是资源连接太久,有资源没有释放造成泄漏。也有可能是资源的长时间不用,类似长连接断开后未能再次建立连接。 ceph 版本: $ ceph –version ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable) 依赖的 java sdk 版本是: <dep …

Read More

解决WordPress耗尽可允许分配内存的问题

最近想要在博客中增加 Google AdSense,安装了 WordPress 插件,打开博客管理后台时,一直加载不出来。以为开了代理的问题,关掉代理,发现依然打不开。猜想可能是安装的插件有问题,导致加载失败。登录到服务器,查看 nginx 的日志。

在 nginx 的 error.log 发现了如下信息 FastCGI sent in stderr: “PHP message: PHP Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 32768 bytes) 。

Read More

MacOS编译NGINX1.17

使用Mac的开发者大多数的时候通过 brew 命令安装各类软件,比如 PHP、Python、Nodejs,Nginx 也不例外。

默认情况下Nginx安装在/usr/local/Cellar/nginx,通过brew link nginx加软连接到/usr/local/bin/nginx,虽然这样完全满足开发且符合 Mac 软件的管理,但是却不方便移植(比如想给不懂开发的用户一键部署部署的应用包,做私有化部署的同学应该对此不陌生)。

从源码编译 NGINX 程序比安装预编译的安装包要灵活很多,可以添加特定的模块(来自NGINX官方或者第三方的,比如给 Fastdfs 提供 HTTP 访问文件能力的 fastdfs-nginx 模块),当然自己编译源码拉取的可以是已修复 bug 和新增特性的最新分支。

Read More

zookeeper客户端zkCli.sh命令详解

点击数:67连接命令 zkCli.sh [-timeout 100] [-r] -server server-1:2181,server-2:2181,server-3:2181 -r :即使ZooKeeper服务器集群一半以上的服务器 down,也给客户端提供读服务。 客户端命令 命令 usage 示例 h 显示所有命令 · ls path 查看某个节点下的所有子节点信息 · ls / 列出根节点下所有的子节点信息 · ls /brokers/topics 列出 /brokers/topics …

Read More

FastDFS之Tracker-Leader和Trunk-Server的选择

在 FastDFS 中可以配置多个 tracker,每个 tracker 是对等的,但是在运行过程中针对某些操作会选择其中一个 tracker 作为 Leader,由 Leader 执行这些特殊的操作。

既然 Tracker 是对等的,为什么还需要选举 Leader,选出来的 Leader 能干什么?本文带你了解 FastDFS 的 Tracker-Leader 和 Trunk-Server 的选举和作用。

Read More

Fastdfs上传文件报错 recv package size -1!=10

使用 Fastdfs 作为文件存储系统,Java 客户端单个上传文件没什么问题,在并发300的时候就会出现异常,部分上传失败。

客户端是自己封装的 spring-boot-starter-fastdfs,引用的核心库是 happyfish100大神的 java 版客户端,该库的 github 地址是 https://github.com/happyfish100/fastdfs-client-java。SpringBoot 的版本是 2.0.3.RELEASE。

项目中引入编译好的 fastdfs-client-java jar lib。

Read More

分布式FastDFS集群部署

FastDFS是一个轻量级的开源分布式文件系统,主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡。

FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

Read More

FastDFS高可用集群架构配置搭建

FastDFS 是余庆老师开发的一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。 FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

Read More

Nginx截断response的body

在前后端分离实践中,借助于nginx的反向代理,既能解决负载问题,也能解决跨域问题,是一个完美的实现方案。最近解决写了一个多级菜单列表的接口,数据大小有200k。通过ip访问,返回数据是完整的,但是通过代理域名访问,返回只有60-80k之间的数据。

Read More