Home >
  • 【工作】线上MySQL远程长连接很短时间就超时夯(hang)住问题解决

    现象说明:   研发说有一台线上服务器(此处称为A服务器)需要远程连接数据库服务器,A服务器上配置了连接池,需要每小时跑一次任务,连接池设置的超时时间也很长,但是发现如果没有数据传输,不到半小时数据库上的连接就消失了,而A服务器上面的已建立的连接却夯住不动了,无法继续执行sql命令,需要运维查看下什么原因   问题排查:   根据研发描述的状况,如果应用的连接池设置时间没有问题,就需要考虑的是数据库的超时设置,于是登录数据库服务器,进行如下操作: mysql> show global variables like 'wait...
    阅读全文 →
  • 【案例】平台化管理MySQL数据库:拉手网DBMP平台介绍

    常纯 拉手网运维团队负责人 拉手网运维团队负责人,十余年运维工作经验(在日本从事系统运维工作三年)曾就职于日本Thrust公司、高朋网(Groupon)、拉手网、热爱研究开源技术,对互联网网站架构及自动化运维有丰富经验。 主题介绍 为什么要有DBMP平台 DBMP平台架构及功能介绍 DBMP平台页面展示 DBMP平台后期优化方向 一、为什么要有DBMP平台 公司业务不断增长,需要管理的MySQL数据库也在不断增长,DBA手里的活越来越多,从安装MySQL数据库再到线上数据修复、数据迁移、SQL审核等一些日常琐碎的事情就占...
    阅读全文 →
  • 【案例】单表60亿记录等大数据场景的MySQL优化和运维之道

    此文是根据杨尚刚在【QCON高可用架构群】中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处。 杨尚刚,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存储选型设计。 前言 MySQL数据库大家应该都很熟悉,而且随着前几年的阿里的去IOE,MySQL逐渐引起更多人的重视。 MySQL历史 1979年,Monty Widenius写了最初的版本,96年发布1.0 1995-2000年,MyS...
    阅读全文 →
  • 【案例】魅族资深DBA:利用MHA构建MySQL高可用平台

    本次分享主要包括以下几方面: 如何利用MHA 改造MHA适应MySQL高可用场景 构建MySQL高可用平台的出发点 如何构建MySQL高可用平台 一、背景和目标 以前几十台DB服务器,人工登陆服务器就能维护好,也没有高可用,当master挂了,通知业务将IP切换到slave然后重启也能基本满足业务要求,但是业务迅速发展,实例数不断增加,复制集不断增加,数据库架构多样化,而这种人工维护方式显然大大增加了DBA工作量,而且效率低下、容易出错。 DB规模的增大,机器故障、SQL故障、实例故障出现的概...
    阅读全文 →
  • 【分享】Mysql在大型网站的应用架构演变

    写在最前: 本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变 可扩展性 架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种: Scale-up :  纵向扩展,通过替换为更好的机器和资源来实现伸缩,提升服务能力 Scale-out : 横向扩展,  通过加节点(机器)来实现伸缩,提升服务能力 对于互联网的高并发应用来说,无疑Scale out才是出路,通过纵向的买更高端的机器一直是我们所避讳的问题,也不是长久之计,...
    阅读全文 →
  • 【案例】每天200亿次查询 – MongoDB在奇虎360

    100多个应用,1,500多个实例,每天200亿次查询 奇虎是中国最大的安卓移动发布平台。奇虎也是中国最顶尖的病毒软件防护公司,同时为网络以及移动平台提供产品。自从2011年成为MongoDB的用户之后,奇虎已经在MongoDB上构建了100多个不同的应用,其中包括新服务以及从MySQL和Redis上迁移过来的服务——每天都会在MongoDB上运行超过1, 500个实例并且支持200亿次查询。 我很高兴能够有一个机会与奇虎的高级DBA——杨艳杰进行交流,了解更多关于他们使用MongoDB的过程及原因、他们的最佳实践以及为那些刚开始使用MongoDB的用...
    阅读全文 →
  • 【案例】达达后端系统上线流程演进

    上线流程演进 第一阶段 - 上线流程从无到有 作为达达研发团队的首位测试工程师,在我加入之前研发团队规模比较小(大概4个后端工程师和2个Android工程师)。当时后端代码上线的流程比较简单,从开发工程师Coding到代码最终上线一共会经过3个环境: 工程师本地开发环境 DEV测试环境 生产环境 开发工程师完成代码开发,在DEV测试环境自测后会把代码Push到对应仓库的Master分支上,等晚上9点上线。 上线流程(最初) 开发工程师提交Branch分支到Git Server 测试工程师在DEV环境部署Branch分支测试 代码测试通过后...
    阅读全文 →
  • 【案例】达达日志系统(一)收集

    背景 随着达达业务迅猛发展,访问量的节节攀升,每天产生大量的日志,单日日志量从原来的约20G/天涨到超过500G/天,我们面临着新的架构设计挑战。 在提出解决方案之前,我们先来了解一下达达当前的日志现状: 1. 日志种类繁多 需要收集的日志包含: Nginx的访问日志 Tomcat的访问日志 应用程序的业务日志 其他日志:移动App的日志,达达快递员位移的日志等等 2. 海量的日志记录,接近TB级别 随着系统功能越来越多,访问量的增长,记录的日志也越来越多,越来越大。高峰时期,单日日志文件大小超过500G,接近TB...
    阅读全文 →
  • 【案例】达达-高性能服务端优化之路

    提纲 业务场景 最初的技术选型 读写分离 垂直分库 水平分库(sharding) 总结 业务场景 达达是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似,以众包的方式利用社会闲散人力资源,解决O2O最后三公里即时性配送难题。 达达业务主要包含两部分:商家发单,配送员接单配送,如下图所示。   达达的业务规模增长极大,在1年左右的时间从零增长到每天近百万单,给后端带来极大的访问压力。压力主要分为两类:读压力、写压力。读压力来源于配送员在APP中抢单,高频刷新查询周围的订单...
    阅读全文 →
  • 【案例】雪球的Docker实践

    一、背景 雪球(http://xueqiu.com)是一家涉足证券行业的互联网金融公司,成立于2010年,去年获得 C 轮融资。雪球的产品形态包括社区、行情、组合、交易等,覆盖沪深港美市场的各个品种。 与传统社交网络的单一好友关系不同,雪球在用户、股票基金及衍生品、组合三个维度上都进行深度的相互连接。同时雪球的用户活跃度和在线时长极高,以致我们在进行技术方案选型和评估的时候必须提出更高的要求。 目前雪球的 DAU 为1M,带宽为1.5G,物理机数量为200+,云虚拟机数量约50个。雪球采用了 Docker 容器作为线上服务的...
    阅读全文 →
  • 【案例】亿级用户下的新浪微博平台架构

    序言 新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。 微博平台第一代架构为LAMP架构,数据库使用的MyIsam,后台用的php,缓存为Memcache。 随着应用规模的增长,衍生出的第二代架构对业务功能模块化、服务化、组件化,后台系统从php替换为Java,逐渐形成面向服务的SOA架构,在很长一段时间支撑微博平台业务发展。 在此基础上又经过长时间的重构、线上运行、思索与沉...
    阅读全文 →
  • 【案例】京东Nginx平台化实践

    Nginx是优秀的HTTP和反向代理服务器,京东各部门都在广泛使用,但普遍都面临着一些问题: 配置复杂,专业性强。 配置文件无法批量修改且配置变更依赖重启操作。 不同应用依赖不同模块、配置项,管理混乱。 同一应用的Nginx无法批量、快速扩容。 所有问题的根源在于Nginx是一个单机系统,虽然模块化、高性能,但在互联网高速发展的今天,像京东这样拥有大规模Nginx、业务集群的场景下,所有问题都有可能被无限放大,针对这种现状我们设计研发了JEN(JD EXTENDED NGINX),截止目前JEN已覆盖京东金融大部分核心业...
    阅读全文 →
  • 【分享】京东商城DBA:如何成为一个优秀的 MySQL DBA

    作者介绍: 王伟 京东商城MySQL资深DBA 专注并致力于MySQL数据库自动化运维、监控、架构、性能调优等技术,曾就职于光宇游戏、聚美优品负责MySQL运维,多年大型电商及游戏行业MySQL数据库运维经验。   MySQL 是一个跨平台的开源关系型数据库管理系统,目前 MySQL 被广泛地应用在 Internet 上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了 MySQL 作为网站数据库。随着 MySQL 在互联网上...
    阅读全文 →
  • 【实战】MySQL 5.6 & 5.7最优配置模板

    作者:姜承尧 InsideMySQL  /
     / 数据存储
    Inside君整理了一份最新基于MySQL 5.6和5.7的配置文件模板,基本上可以说覆盖90%的调优选项,用户只需根据自己的服务器配置稍作修改即可,如InnoDB缓冲池的大小、IO能力(innodb_buffer_pool_size,innodb_io_capacity)。特别注意,这份配置文件不用修改,可以直接运行在MySQL 5.6和5.7的版本下,这里使用了小小的技巧,具体可看配置文件。如果配置参数存在问题,也可以及时反馈Inside君,我们一起成长。 触发Inside君做这件事情的原因是大部分网络上的MySQL配置文件都非常非常古老,大多都是基于MySQL 5.1的版本...
    阅读全文 →
  • 【案例】从0到100——知乎架构变迁史

    作者: 臧秀涛  /
     / 企业案例
    也许很多人还不知道,知乎在规模上是仅次于百度贴吧和豆瓣的中文互联网最大的UGC(用户生成内容)社区。知乎创业三年来,从0开始,到现在已经有了100多台服务器。目前知乎的注册用户超过了1100万,每个月有超过8000万人使用;网站每个月的PV超过2.2亿,差不多每秒钟的动态请求超过2500。 在ArchSummit北京2014大会上,知乎联合创始人兼 CTO 李申申带来了知乎创业三年多来的首次全面技术分享(幻灯片下载)。本文系根据演讲内容整理而成。 初期架构选型 在2010年10月真正开始动手做知乎这个产品时,包含李申申在内,...
    阅读全文 →
  • 【案例】新浪微博千万级规模高性能、高并发的网络架构经验分享

    微信号:运维帮  /
     / 企业案例
    作者简介: 卫向军,毕业后在微软工作五年,接着去了金山云,做的金山快盘,然后去了新浪微博做平台架构师,现在在三好网,做在线教育的创业公司。 正文: 大家下午好。感谢大家支持今天的沙龙,也感谢梦想加给我们提供场地。麦思博是一家软件研发培训公司,2007年成立,我们一直专注于软件研发快速成长,今天Into100沙龙是第14期了,我们每次主题都偏向技术,每次分享是由三个嘉宾分享。这个模式实际上跟全球软件案例峰会是一致的,用50分钟时间给你解读长尾价值。今天第14期主题是千万级规模高性能,高并发的...
    阅读全文 →