负责/参与的项目说明
具体项目说明**在此**,简述就是基于大数据做的日志整合方案、与多维度数据统计整合方案。
具体相关技术包括:
- Java, Java Profilling
- HBase, HDFS, Storm, Kafka, MySql
- Jersey, Spring MVC
- Srping Boot, Spring Cloud Config
- Javascript, Bootstrap, AngularJS
- Git, Gitlab, Github workflow
- Jenkins, Tomcat, Linux
- Elasticsearch, Kibana
- etc…
列了这么多,确实是这个项目都需要的技术栈。从前端到后端,从传统的MySql到大数据存储与设计,从消息队列到实时计算,从代码风格到程序性能调优,从开发到自主运维与监控,除了项目的自主权不在自己,其他每个要点都需要关心。
也不敢吹牛说是全栈工程师,毕竟只有两个人的团队(曾经是9人的团队),至少干的活是一人顶多人了。终究精力有限,除去每日支持工作和偶尔的运维工作(虽然机器偶尔会出问题的情况不多,还是需要人力去具体排查原因),再想要做更多事情,就有心无力的状态了。
其中特别的成果
- 使用Jenkins搭建持续交付平台,从纯手工发布到使用Jenkins发布到各环境。(各应用的适配,启动脚本,各机器环境统一化,Jenkins配置等)
- 大数据相关应用接入Kerberos认证(其中的辛酸一言难尽)
- 将原生Java应用引入Spring框架,转为Spring Boot应用。
- 引入Spring Cloud Config,搭建基于Git的中央化的配置中心。
- 基于Spring-Cloud-Admin-Server,搭建Spring项目的治理中心。
- 搭建过EKL(Elasticsearch, Kibana, Logstash),研究从HBase迁移到Elasticsearch方案的可行性。
- 使用FreeMarker编写图文并茂的邮件。
目前的日常工作
业务扩容,应用运维,功能点升级,埋点监控等 (截至2016年中)
更具体的是:
- Java Agent升级改造(包括新增内部埋点,兼容CAT逻辑,修复历史Bug,短连接改长连接等)
- 主业务各应用埋点,修复Bug,限流等
- 接入我司新发布系统:有原自建的Jenkins平台切换到新的发布系统。
- 升级我司数据接入层(类似MyBattis)
- 应用各环境扩容,并发布: 管理四个部署环境,近百台机器,十多个应用。
- 各种应用异常、挂掉的处理与恢复
- 答复、解决各种邮件、lync咨询
简而言之,“每天都是充实的一天”。