神龙论坛

求助：有没有做过物联网、电站的数据同步？

brant2ai2024-07-23 08:490

电站的数据同步，测点数量达到 150w

我们现在在给光伏项目做跨区数据同步，之前没有太多经验，想问问有没有做过类似项目的同学？

现在准备用的方案有

1.Ⅰ区通过时序库自带同步能力同步到Ⅲ区时序库中，时序库用 Taos （ TDengine ） 2.Ⅲ区另外有数据上报需求，已经有厂商做了Ⅰ区到Ⅲ区的跨区传输，到达Ⅲ区后通过 104 协议转发，再由我们这边解析 104 协议，然后写入时序库中

现在的问题

1.Taos 跨区同步的稳定性咋样，能不能支持高达 150w 级别的数据同步能力，之前你们遇到过什么样的坑 2.104 协议解析，我们这边准备拆成 200 多个端口来接收，有没有保稳定性的代码方面的建议

拜托啦各位！！！


上一篇：抽一个
下一篇：我观察，男女双方都戴眼镜的情侣，普遍更黏彼此。
最新回复 (7)
  • aapon5月前
    引用2楼
    数据颗粒度是多少？每秒？还是其他的？ 1 区到 3 区的单向透传解决了吗？
  • brant2ai楼主5月前
    引用3楼
    @aapon 5s 一条，不是所有测点都是实时这样，单向透传两个方案其实都有人负责解决
  • dododada5月前
    引用4楼
    跨行业了，不太懂。我们以前的异地多活，数据同步 100G 的内网带宽跑满，用的 log+mq+es ，和你这个完全不一样，而且方案可能已经落伍了
  • aapon5月前
    引用5楼
    @brant2ai 回答你的问题，能支持。坑嘛，注意透传稳定性。200 个端口也行。但是注意一下代码或者程序的健壮性，基本是内网传输，不用担心，这点数据量跑不满带宽的。不过也可以联系多聊聊。多增加点奇奇怪怪的经验。
  • laminux295月前
    引用6楼
    这是入门级别的简单系统架构了，直接使用 2 套负载均衡就行。

    第 1 套是基于 DNS 的域名负载均衡，用于异地就近寻找服务器进行数据上报，类似于 CDN 的反向版本。这套需要运营商那边办理 DNS 接入，如果嫌麻烦，不用也行。

    第 2 套是用于数据中心内部的数据收集服务器集群的负载均衡，运营商的 DNS 服务器也是这种集群负载均衡模式。

    数据中心内部，先用这种便宜量大的数据收集服务器，直接用 cache 类型的 db 进行收集即可。

    然后再搞一套用于数据分析处理的集群 db ，最后再来一套备份集群，就达成 3 副本的最低生产要求。
  • server5月前
    引用7楼
    国产化前提下 可选择空间很少, db-engines 榜上的数据库国产化的很少, 自己部署 TDengine 多去翻翻 github issue 绕开坑点,商业版看你们商务谈判了. 如果用建议把源码翻一翻.
  • zhangeric5月前
    引用8楼
    看你们每秒插入得最大得数据量了,看时序数据库支持不支持了.
  • 回复请 登录 or 快速注册
返回